Hadoop

本平台基于Hadoop生态构建，实现了学生成绩数据的全流程处理。使用HDFS存储海量成绩数据，通过MapReduce和Hive进行数据清洗、统计与关联分析，计算各课程平均分、挂科率、成绩分布等指标；使用Python和ECharts实现分析结果的可视化，生成柱状图、折线图和热力图，直观展示不同专业、不

多源时空分析西安市局综合性数据分析平台，贯通数据采集、治理、分析、应用全流程。依托WiFi信令海量数据实时运算处理，完成数据规整与深度研判，可精准甄别重点目标、开展动态管控。共有七大功能模块：案件中心统筹案件相关数据，消息中心推送各类动态讯息，查询中心支持多维度信息检索，数据监测中心实时把控数据态势

采集业务库MySQL订单、用户、商品、库存数据，同步至HDFS分层搭建ODS、DWD、DWS、ADS数仓分层模型清洗脏数据、缺失值、重复数据，统一指标口径实现销售总额、客单价、复购率、库存预警等指标计算输出结构化数据同步至MySQL，供报表系统使用

1、存款送积分功能包括活动创设、核心交易数据消费，数据经过flink进行业务数据匹配主要包括（交易渠道、业务类型、产品类型、产品期限、业务机构等），进行按活动及方案的配置，给客户派积分。

项目分为投资者概览，投资者检测，以及重点关注投资者三个大板块，概览展示投资者群体的大数据，检测重点展示对比数据以及不同维度下的趋势变化，重点关注投资者主要为更细致的行为数据展现

本项目构建了完整的IFRS17财务数据平台，核心功能模块包括：**1.数据探源与接入模块**：对接保险核心业务系统、再保系统、精算系统等10余个源系统，完成保单级、赔案级、费用级明细数据的全量抽取与增量同步。**2.数据标准化与校验模块**：设计标准数据模型，实现源系统数据到标准模型的映射转换；构建

取多系统数据，清洗整合成一张dw表，再基于不同的业务需求在dw表基础上根据不同的业务逻辑不同的业务线和部门再区分成不同业务逻辑不同部门不同业务线的表或者看板，给业务部门和业务人员使用。

1.车辆数据实时接入：支持百万级车辆实时数据上报、采集、校验与清洗。2.大数据存储与计算：海量历史数据存储，日增量3–5T，支持高并发查询。3.Web管理平台：完整后台管理、车辆监控、数据查询、报表统计、权限管理。4.实时监控大屏：车辆状态、运行指标、异常告警可视化展示。5.AI智能分析：接入LLM

移动反诈功能主要涵盖智能预警、家人守护、保险补偿与技术反制四大核心维度，具体功能分点介绍如下：智能识别与预警：基于AI、大数据及大模型技术，系统能实时监测并识别诈骗电话和短信。当用户接到疑似诈骗电话时，会通过霸屏提醒、语音警示或闪信等方式进行强干预预警，提醒用户注意防范。亲情联防与远程守护：针对老人

旨在帮助企业快速构建面向业务应用的数据中台。平台覆盖数据全生命周期管理，提供从数据集成、研发、运维到服务与治理的一站式解决方案。数据集成方面，支持在复杂网络环境下对丰富的异构数据源进行高速稳定的数据采集与同步。平台内置数据源管理功能，支持MySQL、Oracle、PostgreSQL、Kafka、H

1、前端埋点上报（包含移动端、web端、后端）2、用户行为埋点数据采集、处理（OneId）、存储3、埋点数据分析查询，包含用户留存分析、用户路径分析、漏斗分析等4、异常数据检测及告警

1、设计多源数据整合方案，搭建标准化数据资源池，支撑9万+服务企业数据统一管理；2、主导数据模型全链路开发（ODS/DWD/DWS/ADS分层），设计场景标签与维度模型，优化查询性能，保障模型合理高效；3、参与集团数据治理体系搭建，负责数据质量校验脚本开发，协助搭建元数据平台实现资产可视化；4、负责

项目名称：项目三：基于头条巨量引擎，百度营销和阿里汇川爬虫软件架构：python3，cv2(open-cv)，muggle-ocr，pyppeteer项目描述：主要运用多进程和多协程通过opencv和muggle-ocr绕过滑动验证码以及复杂图片的验证，实现自动化入库投放渠道信息，通过spark和p

软件架构：python3，scala，spark，flink，实时数仓，离线数仓项目描述：主要通过spark构建离线数仓和flink构建实时数仓来实现风险监控、风险预警和风险数仓，通过监控指标和归因指标以及数仓建模实现自动预警，高效反馈关键考核指标的变化因素，支持风险团队的快速分析，高效定位问题，以

项目名称：项目一：开发大数据平台，基于大数据平台做用户画像软件架构：flink,hadoop,spark,presto,java,python3,mapreduce,shell,kafka,sklearn,doplinscheduler项目描述：每天从百度上百亿数据刻画用户画像来提高用户续费率。责任

1、数据源接入模块：承担数据的传输与清洗的角色。2、数仓模块：数据建模，通过将原始数据进行多层处理变换，使最新数据拆分到维度层中存储，历史数据抽象到其余层级进行加工，最终达到分析统计以及展示目的。3、规则组装模块：生成存储标签系统的规则语句。4、标签模块：根据标签规则库中定义的标签规则对人事数据进行

1、源数据采集，轻度汇总，为数据分析师出分析报表2、定时执行潜在目标用户筛选模型，为营销部门做营销活动传输用户数据3、广告合作方效果数据汇总，为市场部投放广告提供关键词优化数据参考

1．“工作台”模块支持对待办审批任务、我的消息、经营指标三类内容的查询、提示与处理功能；2．“客群管理”模块支持对重点客群进行维护，并支持对各客群进行洞察功能；3．“营销管理”模块支持对不同的营销业务进行配置操作，便于业务人员更加灵活的开展营销活动；4．“营销发布”模块支持将营销活动发布到前端H5页