瑛麒动漫大数据平台

我要开发同款
26阅读

作品详情

1.大数据一期主要包含用户活跃、app启动、活跃用户留存、注册用户留存、用户新增和整体趋势的时、周、月报2.大数据二期主要包含使用时长、频率、间隔、访问页面、元素点击和终端数据,同时对接友盟api把活跃、启动、留存相关数据导入到我们大数据系统里面作数据对比和校正。3.大数据三期主要包含充值、消费、vip、活动、cp、作品和章节相关bi统计、用户行为相关bi统计项目职责:1.负责项目整体架构设计和技术选型2.负责项目的高可用、扩展性和背压处理3.项目的线上体量预估和硬件资源需求规划4.核心代码开发项目业绩:1.用cdh搭建大数据平台,客户端app埋点数据通过zuul网关推送至kafka,消费端订阅kafka数据通过hdfs存入hive的rds表。ozzie触发定时job,基于hive on spark将rds的数据经过加工生成周期快照表,存储在hive的外部表phoenix中。2.应用框架为ssm,客户端app埋点数据通过zuul网关推送至kafka,消费端订阅kafka数据通过hdfs存入hive的rds表。定时job使用spark sql读取hive表数据生成dataframe,将快照数据存储于hbase供bi使用3.通过ozzie定时调度sqoop将业务数据从db抽取到hive里面,借助hive on spark和kafka、flink实时引擎将数据存储于hbase,用于生成bi报表 用户实时在线统计,采用spark streaming流式框架、redis set数据结构分区域统计每分钟用户在线人数
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论