Spark

随着人脸识别技术在智能安防、金融支付等隐私敏感场景的大规模部署，传统集中式训练模式导致的用户数据泄露风险成为技术发展的主要瓶颈。本文提出一种基于联邦学习与差分隐私的混合架构人脸识别系统。通过构建支持非独立同分布（Non-IID）数据的联邦学习框架，结合动态隐私预算管理策略，在保护用户数据隐私的同时提升模型泛化能力。实验结果表明，在 Olivetti 人脸数据集上，系统在 ε=1.0 的隐私预算下达到 92.3% 的准确率，较传统联邦学习方法提升 4.7%，验证了隐私保护与模型性能的高效平衡。

从零到一构建推荐系统，从1到10 的推荐效果优化，公司项目，效果不便展示 性格测试，通过大模型技术对测试进行解析和答疑解惑 作品微信小程序 《知吾》

1. 我主要负责使用情感分析技术量化客户的文本评论，借助统计学知识建立客户评分、客户评论和销售产量的关系模型，预测未来 时间段的销售产量。 2. 竞赛取得美国大学生数学建模二等奖

1. 项目分为两大部分：航班延误原因的定性分析，建立航班延误的机器学习模型（逻辑回归、决策树、随机森林） 2. 更具项目需求使用python语言处理航班数据集，进行特征预处理，建模，结果可视化等。 3. 撰写相应的实验结果和分析（对应论文第三章）

模块：特征工程库，高速数据访问，特征筛选，用户画像，生命周期算法，目标识别(根据不同任务类型，产品类型，客户类型，从而推荐产品)，流程评价

1.整个项目分为数据爬取存储:使用python编写爬虫程序从某二手房网站爬取相关数据并存储至本地mysql;数据处理，对不规则化数据进行编码，特殊数据进行数值转化，归一化等处理；特征工程，根据实际预测场景结合外部数据（如地图API提供的POI信息等）分析构建有效特征，保留有效特征；模型构建，尝试多个匹配当前任务数据类型和预测目的的基础模型进行测试；优化调参，通过spark高效完成模型自动化调参，自动选择最优参数；模型集成，通过投票、得分等方式对较优模型进行集成学习等几个方面。 2.该项目最终可对二手房房价进行预测，最终预测结果偏差在500元/平方米上下。

1、项目分为三个部分：数据源获取和数据处理、人效模型构建、模型应用上线。 2、难点和解决方案：（1）数据源选取：用实际达成效率结合线下抽查压测数据做数据打标、结合主客观特征做特征加工；（2）特征工程：区分静态特征和动态特征，对非结构化特征做结构化处理，对信息稀疏型特征提炼多维度描述和统计特征进而做降维处理，通过线性、非线性特征评估方法评估特征重要程度做特征选取。

数据中台构建 数据中台总体设计规划 1 大数据底座设计构建； 2 数据仓库模型设计； 3 数据治理设计构建； 4 数据服务设计构建； 5 数据Portal设计开发； 6 数据安全设计开发； 7 指标体系设计开发；

搭建k8s云原生底座（containerd + calico） 集成NVIDIA GPU插件，实现训练任务调度 设计开发数据集，基础镜像，算法代码，AI模型，在线训练等平台功能

某互联网贷款平台需要在用户初次申请时，通过一系列操作去判断是否给与通过，通过得话，给与多少额度，从而控制平台得风险。 我这边负责风控模型得搭建及相关策略得配合，与功能段开发者合力共同建立一套高可用，可持续，不断更新迭代的系统

用户下单到前置仓后，系统会拉拉取当前前置仓需要调度的订单，在线骑手、分拣员数据，依托于智能调度4.0算法，合理的将订单分配给合适的骑手，尽可能有效的提升配送/分拣效率。 技术点： 之前的区域调度策略，限制一个骑手一趟只能带一个区域的订单，在高压下，骑手送不过来；原有的旧策略是基于贪心策略，容易陷入局部最优；基于此开发了V4策略，根据当前站点压力情况，允许骑手一趟带不同区域（强相关区域）的订单，初始方案使用贪心，然后使用大领域搜索优化，搜索过程会考虑当前分配方案的用户等待时长、超时时长、配送时长、聚单距离、区域关联度等因素，提供效率优先/用户体验优先模式供前置仓选择，从而得到一个全局更优的分配方案。

压力平衡项目要解决的问题是某前置仓全局压力的衡量与监控，当前置仓运力与用户需求出现异常不匹配时，及时有效的使用调控手段(订单量限制)来平衡需求与供给。压力系数是门店供需平衡的数值体现.压力系数越大说明门店配送压力越紧张，根据不同的压力情况给出站点最为有效的调控手段来保证用户履约质量与人力的平衡。 技术点： 该项目分为三部分，首先是底层背单量模型，根据历史21天骑手跑动趟次数据构建LR模型，滑动预估骑手每趟不同背单量情况下的背单能力得到预估超时率，每日凌晨计算更新骑手当天的最大背单量数据。其次是压力的计算，确定时间窗口内的未完成订单量，压力系数 = 前置仓未完成订单量/骑手背单能力之和。最后是调控策略，根据压力系数判断当前门店压力高低，继而计算未来时间片内能承载的最大单量，实时更新，实现前置仓智能调控/限单。我这边主要负责的是第一、第二部分。

基于spark开发的低代码机器学习全流程平台 主要负责机器学习算法模块，数据处理模块的开发 负责项目管理方面，通过gradle构建项目解决项目依赖冲突问题 底层代码使用scala编写

该项目是我司风控流程的最重要一环，公司所有贷款申请都会经过该系统进行自动审批，自动审批不通过才会打回人工重新审批。我司所有出钱的单子都会经过该系统，如果一旦有不该通过的单子被自动通过了，公司会损失很大，所以该项目责任重大，且经过我们严谨缜密的维护和测试，该系统目前没有一笔单子是审批错误的 我司贷款核心系统接收到贷款审批后，会请求该系统Athena进行模型预测，Athena接收请求并写入kafka异步处理和削峰，消费者消费数据并根据表中配置获取对应处理类去各个系统获取数据源(业务信息、贷款信息、三方征信数据等)，将数据推送kafka，SparkStreaming消费业务数据，加载多种PMML模型文件并生成对应的评估器Evalutor，并根据不同的数据源匹配对应PMML预测模型，对业务数据进行特征工程和模型评估，最终得到一个评估结果(自动通过\人工复审\自动拒绝)，并将结果写入Redis和MySQL，业务系统通过回调请求Athena获取预测结果来判定该笔申请是否自动通过、自动拒绝、人工复审 我负责的内容： 主导了整个架构、模块、交互设计、表结构设计 负责后端Web接口开发、SparkStreaming 模型加载、特征工程和模型预测模块开发 负责整个测试、uat、生产环境的应用部署，大数据集群环境搭建