Hadoop

1.基础功能：小程序端扫码报修、维修进度查询；维修端接单/记录上传。​2.数据平台核心功能：①设备数据模块：实时采集设备运行数据（每10秒1条），存储至时序数据库，异常数据（如温度超标）自动标记；②分析预警模块：分析设备运行数据，生成故障预测模型（如“转速波动≥10%→24小时内可能故障”），同步搭

常规可视化界面开发，使用前后端分离开发模式，使用vue作为前端框架，javaweb作为后端服务，使用ssm作为后端开发框架。引入Hadoop 作为分布式基础架构，使用hdsf进行数据存储，并基于hive工具进行大数据运算，通过数字标签话分析展示基础数据。

数据源source 对接 多源，多格式元数据适配 数据通道 数据转化 数据校验 数据sink 对接 sink 对接 数据安全校验，幂等

1）、项目功能模块有：物联网平台、流批一体Job、数据仓库、多租户管理平台、租户管理平台、移动端APP。通过对设备数据ETL，实时了设备运行状态的实时监控和故障预警，同时对MES和ERP提供设备产量、效率等各项数据； 2）、整个项目从系统需求调研、需求分析设计、架构设计、开发、部署、上线运维都由我独自完成；具体使用技术：平台后端使用Spring生态，数仓使用Hadoop生态、Hbase、Phoenix、MYSQL等，数据ETL使用FLINK实时流计算引擎， CI/CD应用Jenkins，中间件包括：Redis、kafka、zookeeper、Canal等； 3）、项目难点：1、机型种类多；数据协议定义和数据ETL难度很高，并且很多机型协议未定；2、数据规模大：积累的多年各机型上云，数据包大且频繁，实时性要求高；3、客户应用部署：客户多，客户设备多，需要快速的进行平台的部署和推广；

介绍： xxx电商平台每天日活人数几十万人，下单数上万单，针对这些订单，对于企业回款，企业结算是很大的一个难度，针对这个情况，我们团队着手为期四个月时间搭建了一套应收结算系统，使得企业的营收结算情况实现自动化，大大提高了人工结算出现的种种弊端，为企业每年节省人工成本约3000w 主要模块： 1）对账参数模块 2）出账模块 3）导入对账单模块 4）审核列表 5）未回款明细 6）生动生成账单 我的职责： 1）对账平台的技术架构 2）订单、商品数据接入 3）对账参数模块开发

介绍： 污染源动态活动水平库旨在为陕西省西安市生态环保局打造一个数据融合，数据分析、治理、监控的平台。打通西安市各区县间数据不完整，数据实时性差、各部分间数据流通不畅的问题，为西安市生态环保局提供可视化的数据分析，为环境治理工作开展提供重要的数据依据。 1.【项目模块】： 1）数据接入模块：http请求、tcp/udp接入，jdbc连接、excel导入等 2）数据处理模块：接入的数据入库后通过sql查询过滤方式等清晰，过滤，分组，聚合等形成数据集，数据自资产 3）数据分析模块：对整理的数据进行分析，展示 2.【我的职责】： 1）负责整个数据存储，数据分析平台的搭建 2）动态活动水平库技术架构 3）数据接入、数据清洗的负责人 3.痛点难点： 1.数据的多样化：目前西安市环保部分的数据多样化存储在各个部门的不同系统中，需要一套清晰的数据标准及接入流程使得各部分间的数据能够实时、准确地汇入到动态活动水平库中，对此，我带领小组成员为期两个月的时间，主要调查，分析各部门间的数据录入情况，各部门的系统数据情况，数据的更新周周期情况，数据的真实可靠情况等。指制定了一套专门针对不同时期平台的数据接入模块，适配了当时情况下的大部分数据的接入 3.数据量大：空气站、水站这种数据量大，数据实时性高的数据，传统的数据库根本承载不了，对此，在我的带领下，构建了一台基于大数据模型的数据存储机制及数据清洗分析机制，使得数据能够准确存储切能实时查询分析。