Hadoop

项目背景：离线链路只能T+1、业务看不到「现在卖得怎么样」，故补分钟级实时链路，与离线集群同机共存构成Lambda架构雏形|▪实时ETL与数据质量验证：高仿真订单生产者模拟真实生产：泊松到达+21点峰值波峰+8品类加权+二八用户分布，注入1%脏数据验证清洗拦截与巡检不误报；FlinkSQL事件时间+

项目背景：基于淘宝公开订单数据集（99,457行×9列、39个月）从零搭建离线数仓，为报表与自助分析提供统一口径销售指标|▪分层建模与ETL：ODS→DWD→DWM→DWS→DM五层+dim；针对尾逗号、日期混乱、浮点噪声（16%行受影响）等脏数据，DWD八步清洗（去重、缺失值、异常过滤、round

项目面向常熟农商行三农、小微制造、纺织服装、批发零售、个体工商户、科创、供应链、外贸、消费金融及财富管理等场景，整合行内业务、征信、工商、司法、税务、发票、流水、订单、物流等多源数据，构建客户画像、反欺诈、信用评分、额度测算与风险定价模型；支持线上申请、自动审批、人工复核、合同签署、放款支付、贷后预

本项目实现六大核心功能：①用户行为实时统计（PV/UV）；②基于ALS模型的个性化商品推荐；③基于朴素贝叶斯的评论情感分析；④负面舆情实时监控与预警；⑤Kafka双Topic解耦行为与评论数据流；⑥Flask+ECharts大屏动态展示实时流量、热门排行、推荐列表、情感分布、预警及吞吐量六大模块。

企业知识库：构建多源异构数据接入层，支持文档（PDF/Word/Excel/PPT/TXT）、数据库（MySQL/PG等结构化元数据）、视频流（音视频转录与语义索引）的统一导入、解析与向量化存储，形成企业专属知识图谱。AIAgent智能体：支持文本/语音多模态交互，融合LLM推理与工具调用能力，实现

本项目为基于Hadoop生态的大数据平台集群部署实践，涵盖从单节点到多节点高可用集群的完整搭建流程，并集成Sqoop、Azkaban、Hive等核心生态组件，适配CentOS、Debian与Ubuntu三种主流Linux环境。主要功能模块包括：1.集群基础环境配置：在CentOS、Debian和Ub

数据采集任务管理（创建、编辑、版本管理、任务部署启动）数据加工ETL任务管理（创建、编辑、版本管理、任务部署启动）工作流任务管理（创建、编辑、版本管理、任务部署启动）脚本任务管理（创建、编辑、版本管理、任务部署启动）数据源管理（创建、编辑、测试连接，表，数据预览）参数、函数、预警管理基础功能（用户、

自动化环境初始化：使用Bash脚本完成yum源切换（vault.centos.org）、基础工具安装（vim/git/net-tools）、内核参数优化；容器化服务部署：基于DockerCompose编排Nginx+PythonFlask+MySQL三件套，实现服务解耦与快速扩缩容；安全加固模块：配

Pallas是自主研发的分布式小文件存储系统，核心功能模块包括：1）Master/Worker主从架构，支持基于ZooKeeper的Master选举与高可用；2）Namespace（命名空间）与Bucket（桶）两级元数据管理，支持创建、查询、更新、删除及配额（Quota）与QPS限流；3）基于HB

专门针对交通运输企业（包括公交、出租、客运、物流）设计和开发的，辅助运输企业监控运营新能源汽车的一款互联网云端产品。产品的移动端包括APP和小程序，服务于企业一线管理人员、车队长、车站站长等不同角色进行不同的职能管理、。该平台已在交通运输厅中已运行两年半，目前已接入车辆10万辆，天实时接收和处理动态

本平台基于Hadoop生态构建，实现了学生成绩数据的全流程处理。使用HDFS存储海量成绩数据，通过MapReduce和Hive进行数据清洗、统计与关联分析，计算各课程平均分、挂科率、成绩分布等指标；使用Python和ECharts实现分析结果的可视化，生成柱状图、折线图和热力图，直观展示不同专业、不

多源时空分析西安市局综合性数据分析平台，贯通数据采集、治理、分析、应用全流程。依托WiFi信令海量数据实时运算处理，完成数据规整与深度研判，可精准甄别重点目标、开展动态管控。共有七大功能模块：案件中心统筹案件相关数据，消息中心推送各类动态讯息，查询中心支持多维度信息检索，数据监测中心实时把控数据态势

采集业务库MySQL订单、用户、商品、库存数据，同步至HDFS分层搭建ODS、DWD、DWS、ADS数仓分层模型清洗脏数据、缺失值、重复数据，统一指标口径实现销售总额、客单价、复购率、库存预警等指标计算输出结构化数据同步至MySQL，供报表系统使用

1、存款送积分功能包括活动创设、核心交易数据消费，数据经过flink进行业务数据匹配主要包括（交易渠道、业务类型、产品类型、产品期限、业务机构等），进行按活动及方案的配置，给客户派积分。

项目分为投资者概览，投资者检测，以及重点关注投资者三个大板块，概览展示投资者群体的大数据，检测重点展示对比数据以及不同维度下的趋势变化，重点关注投资者主要为更细致的行为数据展现

本项目构建了完整的IFRS17财务数据平台，核心功能模块包括：**1.数据探源与接入模块**：对接保险核心业务系统、再保系统、精算系统等10余个源系统，完成保单级、赔案级、费用级明细数据的全量抽取与增量同步。**2.数据标准化与校验模块**：设计标准数据模型，实现源系统数据到标准模型的映射转换；构建

取多系统数据，清洗整合成一张dw表，再基于不同的业务需求在dw表基础上根据不同的业务逻辑不同的业务线和部门再区分成不同业务逻辑不同部门不同业务线的表或者看板，给业务部门和业务人员使用。

1.车辆数据实时接入：支持百万级车辆实时数据上报、采集、校验与清洗。2.大数据存储与计算：海量历史数据存储，日增量3–5T，支持高并发查询。3.Web管理平台：完整后台管理、车辆监控、数据查询、报表统计、权限管理。4.实时监控大屏：车辆状态、运行指标、异常告警可视化展示。5.AI智能分析：接入LLM

移动反诈功能主要涵盖智能预警、家人守护、保险补偿与技术反制四大核心维度，具体功能分点介绍如下：智能识别与预警：基于AI、大数据及大模型技术，系统能实时监测并识别诈骗电话和短信。当用户接到疑似诈骗电话时，会通过霸屏提醒、语音警示或闪信等方式进行强干预预警，提醒用户注意防范。亲情联防与远程守护：针对老人

旨在帮助企业快速构建面向业务应用的数据中台。平台覆盖数据全生命周期管理，提供从数据集成、研发、运维到服务与治理的一站式解决方案。数据集成方面，支持在复杂网络环境下对丰富的异构数据源进行高速稳定的数据采集与同步。平台内置数据源管理功能，支持MySQL、Oracle、PostgreSQL、Kafka、H