Hadoop

1、数据处理-图数据库相关数据处理2、特征工程-对多源特征进行处理，特征编码3、召回-多路召回通路模型4、精排-多个深度学习精排模型5、重排-重排算法及策略

项目分为数据获取、数据降噪清洗、Hadoop分布式存储、深度学习建模、可视化展示五大模块。借助Java、Python、Shell脚本完成校园数据处理，依靠Hadoop承载大容量数据集，搭配R语言开展统计分析，完成特征筛选与模型训练，直观呈现数据分析与模型预测结果。

1.核心自研大规模并行主题模型引擎：自主设计并实现支持超大规模词表与高维主题空间的无监督分布式LDA推理算法，实现对百亿级海量非结构化文本的低延迟主题抽取与降维表征；2.软硬件深度协同优化：与国际顶尖芯片厂商（Intel跨国团队）深度联合技术攻关，基于硬件微架构深度压榨CPU缓存行（CacheLin

1.算子化（Operator）设计与解耦：将底层召回、特征抽取、模型粗排、业务过滤等复杂计算任务拆解为高内聚、低耦合的标准算子节点，彻底消除了业务新增策略时的重复开发成本；2.高性能DAG调度引擎：自主构建有向无环图（DAG）任务拓扑调度内核，支持跨计算节点的自动并发执行、依赖解析与动态拓扑分支选择

Pallas是自主研发的分布式小文件存储系统，核心功能模块包括：1）Master/Worker主从架构，支持基于ZooKeeper的Master选举与高可用；2）Namespace（命名空间）与Bucket（桶）两级元数据管理，支持创建、查询、更新、删除及配额（Quota）与QPS限流；3）基于HB

该项目分为Python语言开发的增强版BrowseUse、Go语言开发的Agent调度工程。我在其中负责UserAgent和ReportAgent的Prompt调优、大模型调用性能优化、工具链与算子功能完善、系统稳定性与性能优化等方面的工作

本项目构建了完整的IFRS17财务数据平台，核心功能模块包括：**1.数据探源与接入模块**：对接保险核心业务系统、再保系统、精算系统等10余个源系统，完成保单级、赔案级、费用级明细数据的全量抽取与增量同步。**2.数据标准化与校验模块**：设计标准数据模型，实现源系统数据到标准模型的映射转换；构建

产品定位：面向中大型企业的轻量化AI能力平台，支持文档智能解析（合同/报表）、客户服务对话、内部知识库问答等场景，提供API/SDK快速集成，可本地化部署保障数据安全，已适配零售、金融、医疗3大行业细分需求，单客户平均降本40%的AI开发成本。

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

基于多模态大模型(ImageBind)的推荐系统，主要解决传统协同过滤算法的冷启动问题和信息茧房现象。系统通过深度语义理解内容特征，能够实现跨模态推荐，并提供更加多样化的推荐结果。系统主要分为离线处理层、数据存储层和在线服务层三个部分，采用召回-排序的两阶段推荐架构。在召回阶段使用多种策略并行检索候