Nginx+MySql+kafka+Flink+HBase+Pheonix+MaxWell+FlinkCDC+Redis+ClickHouse+Prometheus+Gran ada+Sugar
项目描述:本项目基于Flink技术开发的大数据统计分析平台,目的是通过对聚美购物网站以及APP的各种用户行为数据 进行统计分析,用分析的数据辅助产品经理、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果 持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场 占有率的目标。
xxcen9du202201112001
个人职责: 主要负责对业务交互数据和用户行为数据进行分析。主要实现的指标包括:
1. 最近一个小时的交易金额
2. 统计一天内的浏览下单转化率
3. 统计用户跳出率
4. 统计分时访问流量显示
5. 关键词热度排行
技术描述:
1. 通过MaxWell从MySql中抓取对应的数据表的实时新增变化数据推送到kafka
2. 通过Nginx日志采集将用户行为数据推送到kafka
3. 利用Flink侧输出流将日志数据进