2023-11-01 -2025-10-01中移信息技术有限公司 大数据工程师

负责移动公司PB级hadoop集群（数据量15P、300多节点）萝岗集群、移动云集群的hive数据仓库开发、业务流程开发、数据运维等工作。包括sql开发及优化、spark程序开发、shell开发，集群数据迁移、存储空间压缩、小文件合并、VGOP基础数据质量监控、流程巡检支撑等。 1、统一数仓基础数据接入 根据统一数仓建设要求，梳理各业务系统核心表结构及字段含义，明确接入标准与落地路径。 根据数据源类型，完成统一数仓数据采集链路搭建，配置kettle/Hive/Spark等流程并调试上线。 对接入数据进行字段、分区、行数等校验，配合业务完成数据验证，保障数据质量与准确性。 完成统一数仓ODS层、DWD层、DWS层、ADS层的构建。 2、业务流程开发及优化 超级SIM、短信业务、经营分析、5g消息、5g新通话、移动云盘、139邮箱等业务流程开发。 针对流程中的TB级复杂查询进行优化，如流程运行慢、数据倾斜优化，以提高流程运行效率。 3、萝岗集群数据迁移至移动云集群 梳理萝岗集群中历史数据表清单，制定分阶段迁移策略，结合业务使用情况制定优先级。 针对大体量表，进行ORC/Parquet压缩及

2020-02-01 -2023-07-01深圳光启空间技术有限公司大数据高级工程师

超级智能追踪产品开发： 1、为公司超级智能追踪系统设计架构实时和离线数据分析平台，主要包括视频数据分析和wifi数据分析。产品从最初的wifi数据分 析不断发展到以视频数据为主wifi数据为辅以及两者相结合的的数据分析系统。产品的主要功能有离线分析，在线分析，实时计 算，时空碰撞，轨迹分析，伴随分析，以图搜图，人像建档，特征计算，实时告警等。 2、产品采用的技术栈有hadoop，hbase，hive，kafka，spark，flink，clickhouse，docker，k8s，spring boot等。 3、产品初期采用kafka+hbase+spark/flink的架构，为适应业务需求变化，后期重构为kafka+hive+clickhouse+spark/flink的 架构。 4、实时计算：从kafka消费数据，实时计算特征值，比对特征值，识别特定人员并告警。实时显示各场所的嗅探设备的在线人数 情况，上线离线情况，热点分布情况。重点疑犯监控报警，场地布控，人流高水位报警等。 5、离线分析：摄像头或wifi探针采集数据作为生产者发送数据到kafka，从kafka消费数据经过相应的处理

1996-09-01 - 2000-07-01湘潭大学信息与计算科学专业本科