用户行为日志收集和分析系统原来使用的神策数据提供服务，没有自己的离线数仓和实时数仓。但是在业务发展越来越多样化和用户量越来越大的背景之下，神策数据已经满足不了目前的数据需求。为了替换掉神策同时建设自己的离线和实时数仓，数据智能团队开始了自有埋点系统和实时数仓的建设。本人在该项目中负责整个项目的工程架构设计、技术选型和核心模块开发，协调各端开发和测试的工作，推动整个项目在业务侧的落地。1.埋点管理平台建设埋点管理平台建设主要分为四部分：埋点SDK研发、埋点模型设计、埋点规范制定和埋点元数据管理。考虑到项目开发效率和技术成熟度以及业务侧埋点的成本，项目采用了神策开源的SDK作为埋点上报SDK，同时做到了全公司各业务各端SDK统一化和标准化，制定了埋点端到端采集的规范，设计出灵活、全面、复用性高的埋点模型。在埋点规范统一的基础上开发出埋点元数据管理，实现了埋点的上下线管理、事件属性管理、埋点实时数据校验等功能，方便业务方使用和管理埋点。2.埋点日志收集及在线分析系统建设埋点日志收集及在线分析系统分为三部分：埋点日志收集技术架构设计、埋点日志实时ETL技术选型、OLAP组件选型。针对需求分别设计了开源组件架构和云原生组件架构两种架构方案，在技术完整性、项目成本、项目可维护性等考虑之下最终选择了云原生组件架构。该项目使用阿里云日志服务(SLS)作为日志接收、传输和日志总线组件，使用Flink进行用户埋点ID-MAPPING和埋点日志实时ETL，使用分析型数据库Hologres作为埋点日志存储和OLAP分析组件。3.实时数仓建设实时数仓选用SLS+Flink+Hologres的架构。数据模型分三层，ODS(DWD)->DWS->ADS。ODS(DWD)层明细数据存储在SLS中，DWS层数据使用Hologres列存表存储，按照主题整合，构建可复用的DWS层，减少烟囱化。由于Hologres同时支持行存和列存，ADS层指标数据直接输出Hologres行存表对外提供服务。