Hadoop

1、数据处理-图数据库相关数据处理2、特征工程-对多源特征进行处理，特征编码3、召回-多路召回通路模型4、精排-多个深度学习精排模型5、重排-重排算法及策略

项目分为数据获取、数据降噪清洗、Hadoop分布式存储、深度学习建模、可视化展示五大模块。借助Java、Python、Shell脚本完成校园数据处理，依靠Hadoop承载大容量数据集，搭配R语言开展统计分析，完成特征筛选与模型训练，直观呈现数据分析与模型预测结果。

1.核心自研大规模并行主题模型引擎：自主设计并实现支持超大规模词表与高维主题空间的无监督分布式LDA推理算法，实现对百亿级海量非结构化文本的低延迟主题抽取与降维表征；2.软硬件深度协同优化：与国际顶尖芯片厂商（Intel跨国团队）深度联合技术攻关，基于硬件微架构深度压榨CPU缓存行（CacheLin

1.算子化（Operator）设计与解耦：将底层召回、特征抽取、模型粗排、业务过滤等复杂计算任务拆解为高内聚、低耦合的标准算子节点，彻底消除了业务新增策略时的重复开发成本；2.高性能DAG调度引擎：自主构建有向无环图（DAG）任务拓扑调度内核，支持跨计算节点的自动并发执行、依赖解析与动态拓扑分支选择

Pallas是自主研发的分布式小文件存储系统，核心功能模块包括：1）Master/Worker主从架构，支持基于ZooKeeper的Master选举与高可用；2）Namespace（命名空间）与Bucket（桶）两级元数据管理，支持创建、查询、更新、删除及配额（Quota）与QPS限流；3）基于HB

1、搭建集团域+养老子域双层数仓分层模型，完成ODS贴源层、DWD明细层、DWS汇总层全链路ETL开发；2、实现Oracle存量业务向华为MRS大数据平台迁移，优化SparkSQL解决数据倾斜、任务超时，批处理时长由数小时缩短至半小时；3、封装通用增量SQL模板支撑PB级海量数据迁移，编写Shell

专门针对交通运输企业（包括公交、出租、客运、物流）设计和开发的，辅助运输企业监控运营新能源汽车的一款互联网云端产品。产品的移动端包括APP和小程序，服务于企业一线管理人员、车队长、车站站长等不同角色进行不同的职能管理、。该平台已在交通运输厅中已运行两年半，目前已接入车辆10万辆，天实时接收和处理动态

多源时空分析西安市局综合性数据分析平台，贯通数据采集、治理、分析、应用全流程。依托WiFi信令海量数据实时运算处理，完成数据规整与深度研判，可精准甄别重点目标、开展动态管控。共有七大功能模块：案件中心统筹案件相关数据，消息中心推送各类动态讯息，查询中心支持多维度信息检索，数据监测中心实时把控数据态势

该项目分为Python语言开发的增强版BrowseUse、Go语言开发的Agent调度工程。我在其中负责UserAgent和ReportAgent的Prompt调优、大模型调用性能优化、工具链与算子功能完善、系统稳定性与性能优化等方面的工作

本项目构建了完整的IFRS17财务数据平台，核心功能模块包括：**1.数据探源与接入模块**：对接保险核心业务系统、再保系统、精算系统等10余个源系统，完成保单级、赔案级、费用级明细数据的全量抽取与增量同步。**2.数据标准化与校验模块**：设计标准数据模型，实现源系统数据到标准模型的映射转换；构建

主要对平安银行所掌握的用户数据进行打标分析，后生成一张以用户id为主建的用户风险分析数据，推送到应用端供应用端展示给一线客户经理，一线客户经理依据这些分析评估数据对离岸客户进行安全风险评估，以评估离岸客户有哪些安全风险，并提供风险预警

主要对平安银行所掌握的用户数据进行打标分析，后生成一张以用户id为主建的用户风险分析数据，推送到应用端供应用端展示给一线客户经理，一线客户经理依据这些分析评估数据对贷款用户进行安全风险评估，以评估贷款用户有哪些安全风险，并具体贷款金额

将历史的日期特征和天气特征数字化，结合历史客流量得到输入数据，组合为LSTM算法的输入，并将LSTM算法的输出经过全连接神经网络得到未来一天的客流量预测值，最后将未来一天的日期和天气特征通过另一个全连接神经网络计算得到一个权值，修正客流量预测值。

产品定位：面向中大型企业的轻量化AI能力平台，支持文档智能解析（合同/报表）、客户服务对话、内部知识库问答等场景，提供API/SDK快速集成，可本地化部署保障数据安全，已适配零售、金融、医疗3大行业细分需求，单客户平均降本40%的AI开发成本。

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

基于多模态大模型(ImageBind)的推荐系统，主要解决传统协同过滤算法的冷启动问题和信息茧房现象。系统通过深度语义理解内容特征，能够实现跨模态推荐，并提供更加多样化的推荐结果。系统主要分为离线处理层、数据存储层和在线服务层三个部分，采用召回-排序的两阶段推荐架构。在召回阶段使用多种策略并行检索候

1、数据源接入模块：承担数据的传输与清洗的角色。2、数仓模块：数据建模，通过将原始数据进行多层处理变换，使最新数据拆分到维度层中存储，历史数据抽象到其余层级进行加工，最终达到分析统计以及展示目的。3、规则组装模块：生成存储标签系统的规则语句。4、标签模块：根据标签规则库中定义的标签规则对人事数据进行