负责咪咕阅读，后台离线推荐开发，推荐算法部分使用spark ，数据处理采用hive ，最终结果存储到hbase ，整体流程，针对用户行为日志，进行个性化推荐

以住建部和省级市场项目为牵引，形成涉及管廊、轨道、污水污泥、园林绿化等领域的城建业务集成平台；在住建部城建大数据平台基础上，根据河北、湖南、成都等省市的共性业务需求，形成面向省级的城建大数据平台，使其成为可复制、可推广产品，提升用户满意度、提高市场拓展能力。

项目环境： 项目描述： CDH+Hive+Sparksql+Oracle+oozie+mysql 根据事业部业务现状，梳理业务，将各 Oracle 业务库的数据统一收集，搭建属于自己的城建数据仓库，进行数据仓库分层：ODS（原始数据层）、DWD（数据仓库层）、TDM（数据标签层）、ADM（数据应用 层）、DIM（数据维度层）。最终能够实现积累城建特色数据的目的。 dataview 报表工具、第三方调度框架 项目职责： 1、和业务系统负责人沟通，收集轨道交通和黑臭水体库元数据（ip、端口、表结构、用户信息 2、和业务人员沟通，确定数据指标以及业务标签，输出数据字典。 3、采用 Sqoop 将 Oracle 的业务数据以 T+1 的形式导入 ODS 层。 4、对 ODS 层的数据采用 hql 脚本和 sparksql 进行加工，形成 DWD 层。 5、DWD 层根据数据字典进行业务逻辑运算形成数据指标存储到 TDM 层。 6、将 TDM 层的数据指标采用 Sqoop 回流到 Oracle 数据库中。 7、整体任务调度采用第三方调度框架。 8、采用 Dataview 报表工具对 Oracle 中的数据指标进行可视化