某大数据项目产品系统

为某科研机构构建核心业务处理平台，解决海量设备数据（日均亿级）的实时采集、离线分析和高并发查询问题，支撑核心业务的稳定运行与智能决策。

海量数据处理：开发基于Kafka + Flink的实时数据处理链路，对关键指标进行秒级计算与监控。
混合存储架构：根据业务场景，使用HDFS进行低成本存储，使用HBase存储海量设备数据，使用Elasticsearch实现PB级数据的毫秒级检索。
系统性能调优：对核心接口进行重构和SQL优化，通过压力测试将接口吞吐量提升30%；参与JVM调优，解决频繁GC问题。

我负责的具体任务：独立负责核心业务模块的微服务设计（Spring Cloud Alibaba + Nacos）。设计并实现了Kafka + Flink实时数据处理链路。根据不同的查询场景（点查、范围查、复杂搜索），设计了“HBase + Redis + Elasticsearch”的混合存储架构，并完成了核心代码实现。进行了全链路的性能压测与JVM调优。
技术栈与架构：采用Spring Cloud Alibaba微服务架构，Nacos作为注册配置中心。使用Kafka作为数据总线，Flink进行实时计算，Spark进行离线T+1分析。存储层使用HDFS/HBase/Elasticsearch/Redis组合。亮点：解决了海量数据写入与秒级查询响应的矛盾，通过合理的数据分片和索引设计，在有限资源下实现了高性能目标。难点：多存储组件的数据一致性保证，以及Flink任务在处理乱序数据时的状态管理。