一、聚美大数据离线指标分析系统大数据开发工程师2018年04月 - 2022年01月 北京2018年07月 - 2022年01月 北京 软件架构:Nginx+Flume+Kafka+Hadoop+Hive+Sqoop+MySql+Kylin+Azkaban+Spark+Superset+睿像云项目描述:为配合公司的战略要求，拟建设一个大数据平台，统一收集和存储各个业务的原始运行数据，通过数仓分 层对用户日志数据及业务数据进行整合并统计分析，提取有价值的信息帮助公司提高产品质量及上级领导的分析决策个人职责: 主要负责模块包括:1. 实现用户行为数据仓库以及业务数据仓库的分层搭建 2. 对数据进行ETL，脱敏，维度退化以及制作宽表 3. 负责数仓平台的数据维护，确保仓库模型数据的准确性和一致性4. 针对数据仓库中的数据进行用户新增、流失、回流、留存、沉默、TopN、在线时长、转化率、连续一周登陆、最 近连续三周活跃用户、评价等报表分析技术描述:1. 数据仓库的分层架构:ODS+DWD+DIM+DWS+DWT+ADS2. 使用Flume采集日志文件并发送到Kafka集群3. Flume配置kafkaSource从Kafka集群收集日志数据，并保存到HDFS4. 在 Hive 中使用Snappy压缩， 减少 IO 读写， 并将 Hive 的元数据从默认的derby 中转入到 Mysql 中存储以支 持多客户端访问5. 使用Hive对数据进行多维分析，主要计算客户的留存率，日活跃，月活跃等一些指标。并且存储到MySql里，对空 值和数据一致性问题进行处理6. 在 Kafka 中通过调整日志保存时间、副本数和内存等参数来提升性能7. 对于小文件问题优化: 1在MR 任务中手动开启 merge 对不足 16M 的小文件合并至256M。 2CombineHiveInputformat 提前对数据进行合并， 减少生成的 MapTask。3开启JVM 重用， 但是不宜过大8. 对于不同类型的任务， 采用不同的计算引擎: MR(基于磁盘， 一定跑完， 适用于任务量大， 时效性要求不高的 数据)、 Spark( 基于内存和磁盘， 跑日常任务)9. 对日常任务进行Kylin即席查询10. 使用Aazkaban定时调度任务，并集成睿像云实现邮件电话报警