apm数据入湖项目产品系统

解决工行APM监控、手机银行埋点数据行外存储的痛点，打通行外到行内的数据传输链路，构建PB级数据湖，支撑离线分析、故障定位、客户行为分析、性能建模等金融级深度数据需求。

技术栈：SpringBoot+Apollo+Kafka+Java异步线程池+Log4j2
核心职责：负责整体解决方案设计与落地，主导数据采集、清洗、传输、入湖全流程开发与优化
1. 基于Kafka构建高可靠消息队列，优化生产者配置实现日均千万+条数据稳定采集；设计可扩展Filter责任链，实现设备/用户维度流量控制与黑白名单过滤，有效拦截无效数据，提升数据质量；
2. 开发Kafka消费/生产者池线程，实现行外数据拉取、清洗、转发自动化；基于异步线程池实现高并发数据过滤，通过批量写入与分区策略优化入湖效率，数据处理延迟降低30%；
3. 封装通用配置工具类，统一管理Apollo配置、日志采集、安全密钥，实现配置热更新与多环境隔离；设计定时任务动态调节Kafka消费位置，保障服务器稳定，实现行内数据向大数据湖自动加载；

技术栈：SpringBoot+Apollo+Kafka+Java异步线程池+Log4j2
核心职责：负责整体解决方案设计与落地，主导数据采集、清洗、传输、入湖全流程开发与优化
1. 基于Kafka构建高可靠消息队列，优化生产者配置实现日均千万+条数据稳定采集；设计可扩展Filter责任链，实现设备/用户维度流量控制与黑白名单过滤，有效拦截无效数据，提升数据质量；
2. 开发Kafka消费/生产者池线程，实现行外数据拉取、清洗、转发自动化；基于异步线程池实现高并发数据过滤，通过批量写入与分区策略优化入湖效率，数据处理延迟降低30%；
3. 封装通用配置工具类，统一管理Apollo配置、日志采集、安全密钥，实现配置热更新与多环境隔离；设计定时任务动态调节Kafka消费位置，保障服务器稳定，实现行内数据向大数据湖自动加载；