Hadoop

整体架构设计亮点：1.采用微服务架构设计，按业务功能进行服务拆分，分而治之，实现数据去中心化、技术去中心化、服务治理去中心化。2.搭建一套部门级统一的业务组件库，共享公司内外部优秀组件资源，不重复造轮子，实现“一个组件，到处使用”，提升系统可复用性。3.引入分层设计方案，统一分层认识，明确约定分层职

-数仓分层：ODS/DWD/DWS/ADS-建模工具：PowerDesigner（物理模型落地）-执行引擎：Hive/SparkSQL；调度：DolphinScheduler

1、数据处理-图数据库相关数据处理2、特征工程-对多源特征进行处理，特征编码3、召回-多路召回通路模型4、精排-多个深度学习精排模型5、重排-重排算法及策略

1、完成离线转实时的切换，支持日级数十亿的实时数据处理，将计算成本降低至原先的二分之一；2、升级源数据实时接数平台，由flumecode升级到flinksql，资源降低30%，稳定性、灵活性与开发效率提升一倍以上；3、主导实时湖仓全链路的架构与设计，带领团队推进项目阶段性进展并按期落地应用到生产，离

1.大数据组件部署：支持HadoopHDFS、Spark、HiveMetastore、Iceberg、Gravitino等组件的安装、基础配置、服务启动及运行状态检查。2.分布式存储对接：配置HDFS存储路径、客户端参数及文件系统访问方式，验证数据读写和服务连通性。3.对象存储集成：配置MinIOS

1.HDFS存储环境部署：完成HadoopHDFS基础环境安装、NameNode、DataNode等组件配置和服务启动。2.HDFS文件管理：使用Hadoop命令行工具进行文件上传、下载、目录管理、文件查询及存储访问验证。3.MinIO对象存储配置：配置MinIO服务端点、存储桶及S3兼容访问参数，

1.Kubernetes集群搭建：使用kubeadm初始化单节点Kubernetes集群，配置APIServer、Pod网络地址段及基础集群参数。2.容器运行时管理：安装和配置containerd，完成容器镜像查询、镜像管理及容器运行环境验证。3.Pod网络配置：部署FlannelCNI网络插件，实

本项目包含六大具体功能模块：邮件模板管理模块、收件人海量数据导入模块、Hadoop大数据批量处理模块、定时批量推送模块、发送日志存储模块、邮件发送状态检测模块。项目主要功能为依托Hadoop实现海量收件人数据读取与分片处理，支持用户自定义邮件正文、上传附件，可灵活配置发送间隔，自动批量分发邮件，统计

1. 数据源加载：支持加载模拟用户访问数据集；生产环境可读取HDFS中存储的海量日志文件，包含用户ID、访问日期、访问次数字段。​2. 离线聚合统计：基于SparkDataFrame按日期分组，对用户访问次数求和，自动计算每日网站总访问量，并对结果按日期排序。​3. 双模式运行：支持本地调试模式（不

平台主要分为离线数据处理与实时数据处理，离线数据主要用来提供每日的数据报表(日活、留存等)及各维度数据的分析结果，实时数据则为其他业务线提供实时数据服务及实时报表。同时平台会对接推荐系统、日志系统、监控平台、数据可视化后台（BI）、运营后台，并对外开放API，为线上业务提供实时的数据统计服务。平台支

人事大数据平台围绕“数据整合、智能分析、辅助决策”构建核心能力，支持员工档案、招聘、考勤、绩效、薪酬、培训、晋升及离职等多维人事数据的统一接入与管理。平台可通过可视化看板实时展示人员规模、组织结构、年龄分布、职级分布、人才流动、人力成本等关键指标，并支持按部门、地区、岗位、职级等维度进行多层级钻取分

1.核心自研大规模并行主题模型引擎：自主设计并实现支持超大规模词表与高维主题空间的无监督分布式LDA推理算法，实现对百亿级海量非结构化文本的低延迟主题抽取与降维表征；2.软硬件深度协同优化：与国际顶尖芯片厂商（Intel跨国团队）深度联合技术攻关，基于硬件微架构深度压榨CPU缓存行（CacheLin

1.算子化（Operator）设计与解耦：将底层召回、特征抽取、模型粗排、业务过滤等复杂计算任务拆解为高内聚、低耦合的标准算子节点，彻底消除了业务新增策略时的重复开发成本；2.高性能DAG调度引擎：自主构建有向无环图（DAG）任务拓扑调度内核，支持跨计算节点的自动并发执行、依赖解析与动态拓扑分支选择

项目背景：离线链路只能T+1、业务看不到「现在卖得怎么样」，故补分钟级实时链路，与离线集群同机共存构成Lambda架构雏形|▪实时ETL与数据质量验证：高仿真订单生产者模拟真实生产：泊松到达+21点峰值波峰+8品类加权+二八用户分布，注入1%脏数据验证清洗拦截与巡检不误报；FlinkSQL事件时间+

项目背景：基于淘宝公开订单数据集（99,457行×9列、39个月）从零搭建离线数仓，为报表与自助分析提供统一口径销售指标|▪分层建模与ETL：ODS→DWD→DWM→DWS→DM五层+dim；针对尾逗号、日期混乱、浮点噪声（16%行受影响）等脏数据，DWD八步清洗（去重、缺失值、异常过滤、round

项目面向常熟农商行三农、小微制造、纺织服装、批发零售、个体工商户、科创、供应链、外贸、消费金融及财富管理等场景，整合行内业务、征信、工商、司法、税务、发票、流水、订单、物流等多源数据，构建客户画像、反欺诈、信用评分、额度测算与风险定价模型；支持线上申请、自动审批、人工复核、合同签署、放款支付、贷后预

本项目实现六大核心功能：①用户行为实时统计（PV/UV）；②基于ALS模型的个性化商品推荐；③基于朴素贝叶斯的评论情感分析；④负面舆情实时监控与预警；⑤Kafka双Topic解耦行为与评论数据流；⑥Flask+ECharts大屏动态展示实时流量、热门排行、推荐列表、情感分布、预警及吞吐量六大模块。

企业知识库：构建多源异构数据接入层，支持文档（PDF/Word/Excel/PPT/TXT）、数据库（MySQL/PG等结构化元数据）、视频流（音视频转录与语义索引）的统一导入、解析与向量化存储，形成企业专属知识图谱。AIAgent智能体：支持文本/语音多模态交互，融合LLM推理与工具调用能力，实现

本项目为基于Hadoop生态的大数据平台集群部署实践，涵盖从单节点到多节点高可用集群的完整搭建流程，并集成Sqoop、Azkaban、Hive等核心生态组件，适配CentOS、Debian与Ubuntu三种主流Linux环境。主要功能模块包括：1.集群基础环境配置：在CentOS、Debian和Ub

数据采集任务管理（创建、编辑、版本管理、任务部署启动）数据加工ETL任务管理（创建、编辑、版本管理、任务部署启动）工作流任务管理（创建、编辑、版本管理、任务部署启动）脚本任务管理（创建、编辑、版本管理、任务部署启动）数据源管理（创建、编辑、测试连接，表，数据预览）参数、函数、预警管理基础功能（用户、