项目描述：DDE（deeptime digital earth）是由王坚院士主导的服务于全球知识学者的一个智能化地球分析平台，提供了Data、Knowledge、Workflow等功能模块，方便用户自由组合设计自己的算法模型。为了了解用户在平台上的使用习惯和使用深度，开发用户日志分析系统，从而更好的优化平台，提高用户满意度。责任描述：项目研发负责人，负责整个研发项目进度管理，任务分配，工作协调等。 平台架构设计和搭建实施，整个数仓层面开发任务。 项目详设概设需规、数仓开发指导文档等编写。日志系统开发流程1、数据采集：用户行为日志采集和解析（flume），业务数据同步（DTS/datax）；用户浏览页面日志数据通过flume实时采集到kafka，也为后续拓展实时业务做准备，再通过flume将数据同步到HDFS存储，结合同步的业务数据，作为日志分析系统的数据源。2、数仓开发（维度建模）：a)数仓模型事实表、维度表划分；结合业务模块，分别对大平台页面访问、Data、Knowledge、Workflow等进行数据域划分。b)数仓分层设计ODS层、DWD层、DWS层、ADS层；HDFS日志和业务数据作为ODS层，按主题域对数据进行过滤拆分得到各子域数据表作为DWD层，轻维度的日聚合处理作为DWS层，针对个性化报表设计开发ADS层表一一映射。c)数仓构建流程：数据调研、数据清洗，明确数据域，构建业务总线矩阵，明确统计指标，维度模型设计，汇总模型设计；3、用户行为路径分析；根据用户对网站浏览埋点数据的分析，对每个用户每日记录按时间间隔做session划分，网页去重，正负向路径统计，计算SV、PV，最终得到路径转化率及各节点转化率。4、调度任务配置（airflow）；在k8s环境创建容器调度。