项目概述 在Hadoop生态环境上构建数据仓库，对滴滴出行脱敏数据进行分层分析，并在最终采用相应的技术将分析 后的数据导入相应的关系型数据库实现数据可视化和决策支持。 钟敏杰 17388578629 1951575600@qq.com 21岁 共青团员 未婚 教育经历 个人评价 专业技能 项目经历 运维开发工程师4WGpGgh8202110210839 项目职责 在项目中主要负责Hadoop生态环境搭建、数据仓库构建、数据预处理、数据指标分析、数据可视化。 1.在虚拟机上完成Hadoop生态环境搭建，MySQL元数据库、Hive数据仓库、Sqoop及Superset； 2.数据仓库分层，分别分为ODS层，DW层及APP层（数据应用层）； 3.使用HQL语言对数据进行预处理，并写入数据仓库DW层； 4.对数据指标进行分析，HQL实现相应的业务指标，并将数据写入APP层 ； 5.使用Sqoop将APP层的数据导入MySQL数据库中，并用Superset对数据可视化分析及做出相应决策；

项目概述 对北京二手房数据简单进行数据预处理，并采用MapReduce程序编写实现业务需求，最终形成数据可视 化，为相应的需求提供决策支持。 项目职责 主要负责ETL数据清洗、MapReduce程序编写、可视化实现。 1.采用ETL数据清洗技术对缺失冗余数据进行删除、填充； 2.使用MapReduce中分区、序列化排序、Reducer端数据序列化输出、自定义切片及分组实现项目需求； 3.数据上传到HDFS，HQL语言创建数据表，Sqoop将数据仓库中数据导入MySQL数据库，使用Superset 实现数据可视化

自主完成所有模块。在项目开发中遇到Spark环境搭建、日志数据清洗及Scala开发语言的问题。日志数据清洗主要采用正则匹配来进行数据清洗入库。数据仓库采用分层设计。并使用MySQL数据库作为可视化的基础数据库。