大数据开发工程师
上海中文母语水平
0
1
2
3
4
5
个人介绍
行业经验： 具备新能源车企大型实时看板开发及车联网数据接入经验，主导制造业数据中台从0到1的现场实施与交付。
数仓架构能力： 精通离线数仓全链路建设（需求分析→模型设计→ETL开发→调度部署），基于 DolphinScheduler/ZooKeeper 实现多集群任务编排与日常生产调度维护。
ETL ： 熟练构建高可用ETL工作流，支持复杂业务规则转换，保障数据加工效率与一致性。
SQL 开发： 精通MySQL/Hive SQL高级特性，熟练运用存储过程、窗口函数及性能优化技术处理亿级数据任务。
数据集成工具： 掌握DataX、Kettle实现异构数据源同步，建立数据质量监控体系。
大数据生态栈： 深度应用Hadoop（HDFS/YARN）、Hive、Sqoop、Flume、Kafka构建数据管道，支持实时/离线混合架构。
BI可视化交付： 熟练使用有数BI、Superset等工具开发交互式报表，驱动业务决策分析。
Python数据分析： 利用Python开发自动化数据产品，熟练使用NumPy/Pandas进行海量数据清洗，熟悉
爬虫框架与技术：熟练使用 requests、urllib、selenium、scrapy 等工具和框架，能应对复杂反爬机制，确保数据快速可靠抓取
工作经历
2025-03-12 -2025-12-23上海景盟软件有限公司中级大数据开发
● 负责公司EBS、WMS、SRM系统及多家代工厂（BYD）数据的接入与集成，解决生产数据分散存储和多源异构问题，助力企业实现生产现场实时监控与全流程追溯 ● 基于网易数据中台和BI分析平台，独立完成生产质量管理主题域的指标ETL开发与BI报表开发，支撑产品质量分析与问题根源定位 ● 编写Python及Shell脚本，实现对代工厂工序测试日志的自动化解析处理，提升数据清洗和预处理效率 ● 日常维护数据中台调度任务稳定运行，并提供数据服务接口，保障数据链路可靠性与业务可用性 ● ETL：开发python脚本，实现半结构化数据的自动解析，调用中台的同步接口，将数据同步到中台内，根据业务要求对数据进行清洗，处理，转换
2023-07-27 -2024-12-17上海新致软件股份有限公司大数据开发工程师
● 数据仓库建设与建模：主导设计与搭建了车险主题离线数仓，采用星型模型与分层架构（ODS-DW-ADS），并创新使用拉链表处理客户历史数据变更，有效满足业务对历史信息追溯的需求，保障了数据的时效性与准确性 ● 数据开发：独立负责交易域与理赔域核心统计指标的开发；完成EX5车型的充电、信号、语音、用户行为等多期（共六期）数据需求的开发与计算，包括里程分布、常驻城市、用户画像模型（如专车族/上班族分类、里程焦虑模型）等，为产品决策提供直接数据支持 ● ETL与调度：运用 Flume/DataX/MaxWell 进行数据采集，使用 Hive/Spark SQL 进行大规模数据处理与开发，通过 Shell脚本 与 DolphinScheduler 实现数据处理任务的自动化调度与监控，构建高效稳定的数据流水线 ● 数据可视化BI：使用 Sqoop 进行数据导出，并协同前后端团队完成数据在 Superset 等报表工具和大屏上的展示与接口对接，确保数据结果准确、直观地交付给最终用户
教育经历
2019-09-01 - 2023-07-01长沙理工大学计算机科学与技术本科
