多维数据分析平台产品系统

通过该项目的建设，实现了为该市全警提供通用应用和专题应用，以满足各警种或部门的个性化服务，形成围绕实战和基层工作的大数据云应用支撑体系。整个项目以数据为中心，依拖数据挖掘平台，逐步实现底层数据治理，中间专题数据，上层实战应用的架构体系，为服务于智慧化公安提供有力保障。

该项目建设分为四大平台：数据治理服务平台、数据挖掘分析平台、算法模型平台、实战应用平台。数据治理服务平台提供了数据集成、数据预处理、数据质量检测等功能；数据挖掘分析平台提供了分布式存储、流式计算、图计算等功能；算法模型平台提供了伴随分析、碰撞分析、套牌分析等算法模型；上层应用平台提供了知识图谱、智能检索、智汇社区等应用。

技术栈与架构： 采用 Lambda 架构，技术选型为 Kafka + NiFi + Kettle（数据采集与 ETL 层）、HDFS + Hive（分布式存储与数仓层）、Spark + Impala + Elasticsearch（计算与查询层）、SpringCloud + Vue（应用服务层）。其中 Kafka 负责实时消息管道，NiFi 对接多源异构数据进行可视化流转，Kettle 处理批量 ETL；底层基于 HDFS/Hive 构建数据湖和离线数仓；计算层通过 Spark 同时承载流式计算和批处理任务，Impala 提供秒级即席查询能力，Elasticsearch 支撑全文检索；上层以 SpringCloud 微服务体系对外提供服务，Vue 构建前端实战应用。
实现亮点与难点： 一是日均 1200 万条高吞吐数据处理。二是在逃人员实时预警，基于 Spark Streaming 微批次计算（5s 窗口）配合规则引擎，实现从数据入库到报警推送全链路低于 10 秒。三是多源异构数据接入难题，通过 NiFi 实时流与 Kettle 批量 ETL 双管道方案，统一接入 20 余个业务系统的结构化与非结构化数据。
本人在项目中同时担任驻场经理、项目经理和技术负责人三重角色。作为项目经理，负责制定整体里程碑计划，协调甲方市局科信部门与乙方 20 余人团队的协作节奏，按四大平台拆解 WBS 并跟踪交付节点，管控需求变更范围，组织 UAT 测试与终验交付。作为技术负责人，主导 Lambda 架构方案设计与技术选型，确定 Kafka-NiFi-Kettle 三层数据采集体系；亲自攻坚核心性能瓶颈——1200 万/日吞吐优化、在逃人员实时报警链路搭建、图计算秒级响应优化；制定编码规范并主导核心模块代码审查。作为驻场经理，现场管理后端、前端、数据、测试各小组的日常开发工作。