一、项目背景 在数字化时代，用户访问行为产生海量数据，对这些数据进行实时采集、处理与分析，能为业务优化、用户体验提升提供有力支撑。本项目构建实时数据处理 pipeline，深度挖掘用户访问价值。 二、技术架构 （一）数据采集 依托 Flume 实现多源采集，Tomcat Server 产生的 data - access.log，经 Flume Agent 汇聚到 Flume Consolidation Agent，高效采集分散日志，为后续处理奠基。 （二）数据传输与缓冲 利用 Kafka 分布式流平台，搭建 Kafka Cluster（含多个节点），作为数据缓冲与传输中枢。Flume 采集数据流入 Kafka，实现高吞吐量、低延迟的数据流转，适配实时流数据场景。 （三）实时数据处理 引入 Apache Storm 构建 Storm Cluster，消费 Kafka 数据。基于 Storm 的 Spout（数据源头）、Bolt（处理单元）拓扑，对数据实时计算、分析，挖掘价值信息。 （四）数据存储与可视化 处理后数据暂存 Redis，再经 Web 应用（如 Spring MVC、Python Flask 等框架开发），呈现动态可视化 UI（如中国地图形式），直观展示数据结果，辅助决策。 三、核心流程 用户访问触发 Tomcat 日志生成，Flume 接力采集汇聚，Kafka 实现可靠传输，Storm 实时处理，Redis 暂存，最终通过 Web 应用可视化呈现，形成“采集 - 传输 - 处理 - 存储 - 展示”完整链路，支撑实时数据驱动的业务洞察与优化 。

为某持牌消费金融公司开发的风控决策系统，基于Java+Flink+Spark技术栈构建实时风控平台。系统支持每秒10000+交易请求的实时风险评估，包含规则引擎、模型引擎、特征工程三大核心模块。负责规则引擎与实时特征计算模块开发，设计可视化规则配置界面，支持业务人员动态调整风控策略；优化Flink状态管理，采用RocksDB作为状态后端，将特征计算延迟从500ms降至100ms以内；开发模型服务化框架，集成XGBoost、LightGBM等机器学习模型，实现模型一键部署与灰度发布。系统上线后，欺诈识别率提升35%，误判率降低15%，年减少坏账损失超2000万元。

为某大型电商企业开发的分布式订单处理平台，基于Spring Cloud微服务架构，采用DDD领域驱动设计思想。核心模块包括订单创建、库存锁定、支付集成、物流对接、售后处理等。负责订单核心服务开发，设计高可用架构，解决分布式事务问题，使用Seata实现TCC模式事务补偿；优化数据库分库分表方案，将订单表按用户ID哈希分片，提高查询性能50%；开发多级缓存策略（本地缓存+Redis集群），支撑秒杀场景下每秒3000+订单创建请求。系统上线后，订单处理峰值提升至8000单/分钟，故障恢复时间缩短至5分钟内，获公司季度技术创新奖。