Hadoop

本项目实现六大核心功能：①用户行为实时统计（PV/UV）；②基于ALS模型的个性化商品推荐；③基于朴素贝叶斯的评论情感分析；④负面舆情实时监控与预警；⑤Kafka双Topic解耦行为与评论数据流；⑥Flask+ECharts大屏动态展示实时流量、热门排行、推荐列表、情感分布、预警及吞吐量六大模块。

企业知识库：构建多源异构数据接入层，支持文档（PDF/Word/Excel/PPT/TXT）、数据库（MySQL/PG等结构化元数据）、视频流（音视频转录与语义索引）的统一导入、解析与向量化存储，形成企业专属知识图谱。AIAgent智能体：支持文本/语音多模态交互，融合LLM推理与工具调用能力，实现

自动化环境初始化：使用Bash脚本完成yum源切换（vault.centos.org）、基础工具安装（vim/git/net-tools）、内核参数优化；容器化服务部署：基于DockerCompose编排Nginx+PythonFlask+MySQL三件套，实现服务解耦与快速扩缩容；安全加固模块：配

Pallas是自主研发的分布式小文件存储系统，核心功能模块包括：1）Master/Worker主从架构，支持基于ZooKeeper的Master选举与高可用；2）Namespace（命名空间）与Bucket（桶）两级元数据管理，支持创建、查询、更新、删除及配额（Quota）与QPS限流；3）基于HB

本项目构建了完整的IFRS17财务数据平台，核心功能模块包括：**1.数据探源与接入模块**：对接保险核心业务系统、再保系统、精算系统等10余个源系统，完成保单级、赔案级、费用级明细数据的全量抽取与增量同步。**2.数据标准化与校验模块**：设计标准数据模型，实现源系统数据到标准模型的映射转换；构建

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任