所用技术：hadoop、hbase、phoenix、kafka、redis、SparkStreaming开发环境：IDEA 2020.03、jdk 1.8.0、mysql 5.1.10、maven 3.5项目描述：通过对H5页面埋点获取用户操作信息。对该信息进行用户行为分析，过滤作弊数据，计算uv与花销。后续对各个小游戏流量数据进行新用户数统计、访问人数、跳出率、留存率等运营指标进行统计，能够帮助运营同事实时查看数据，提升产品精准运营效果，以及反馈给投放引擎，及时对投放广告进行调整。负责模块： 实时数仓设计，数仓采用4层设计（ods dwd dws ads），建模使用维度模型（星座模型） 实时代码开发，计算批次点击、曝光、计费PV和UV等业务指标，并进行实时扣费 离线代码开发，对实时数据结果进行每小时、每天统计 处理客户反馈问题，日均TB级数据处理，部分实时业务峰值800w条/批 本项目大数据部分主要负责人，协调前端、php、后端与大数据组之间工作。并负责项目大数据部分上线部署，并保证上线后能正常运行项目建构： 利用js埋点上报数据到Nginx，使用go语言对日志数据进行解密，并上传到kakfa。后续对接sparkstreaming进行实时分析和flume采集到hdfs进行永久存盘 利用Maxwell监控MySQL的binlog文件，抓取到对应表的实时新增变化的数据，推送到Kafka对应的topic中。 通过SparkStreaming主动消费kafka数据，对日志数据进行用户行为分析，过滤作弊数据。并开启背压等优化。 中间层数据保存到kafka中，保证实时读取效率，并用flume采集到hdfs进行永久存盘。 手动维护Kafka消费的偏移量，将偏移量存储在Redis中和MySQL中，实现精确一次消费。 最终结果保存到Phoenix中，并创建二级索引，提升查询效率。 实时扣费数据保存到redis中，并在每天0时通过离线程序进行校准。 从Hbase+phoenix中读取数据并发布接口，对接可视化模块。