此平台作为国内top5的互联网公司的重要业务数据处理平台,日均处理数据超30亿条(10T以上),支撑公司的重点业务。
平台包括数据处理系统、数据管理系统和旁路支持系统三大部分,提供包括数据的批量处理、实时处理、可视化管理、监控报警、指标报表等功能,支持业务人员通过拖拉拽简单配置的方式对数据和任务进行创建更新和管理,并支持任务的自适应调整和恢复。
作为平台负责人,带领研发团队从0搭建平台,并持续迭代,负责技术选型、整体架构设计、核心代码开发(80%以上)、code review等工作。
为适应业务发展和独特需求,以及对公司基础设施的适配,平台涉及从大数据到后端的各类技术,包括但不限于hadoop、doris、flink、zk、redis、kafka、spring、mysql等。
点击空白处退出提示
评论