项目名称: 湖仓一体化
开发架构: CDH+hadoop+hive+iceberg+flink+kafka+springboot+ES+mysql
项目描述:由于离线用户画像和指标统计,隔日才能看到报表数据,运营部门提出需求希望可以实时查看报表数据,实时通过技术手段调整运营策略和方式并触达用户,实现用户的快速增长和产品付费人数的增长,为公司带来业绩;同时营销部门也希望通过用户画像和数据分析,优化广告投放渠道,提高投入产出。以及数据分析人员需要即时OLAP分析,随时获取想要的统计分析数据。
系统实现:需求分析、标签和指标优化、前端埋点优化、数据采集优化、数据存储仓库优化、实时标签和指标统计开发并写入数据仓库、数据服务开发、前端报表开发、标签和指标测试、业务部门验收
项目职责:1、依据需求设计APP/PC/Web/H5/小程序,新增和删减埋点事件以及相关字段采集,埋点采集的数据测试和质量验证
2、业务系统用户、产品、订单等数据使用sqoop一次性全量拉取,canal解析mysql binlog实时增