项目名称： 湖仓一体化 开发架构： CDH+hadoop+hive+iceberg+flink+kafka+springboot+ES+mysql项目描述：由于离线用户画像和指标统计，隔日才能看到报表数据，运营部门提出需求希望可以实时查看报表数据，实时通过技术手段调整运营策略和方式并触达用户，实现用户的快速增长和产品付费人数的增长，为公司带来业绩；同时营销部门也希望通过用户画像和数据分析，优化广告投放渠道，提高投入产出。以及数据分析人员需要即时OLAP分析，随时获取想要的统计分析数据。系统实现：需求分析、标签和指标优化、前端埋点优化、数据采集优化、数据存储仓库优化、实时标签和指标统计开发并写入数据仓库、数据服务开发、前端报表开发、标签和指标测试、业务部门验收项目职责：1、依据需求设计APP/PC/Web/H5/小程序,新增和删减埋点事件以及相关字段采集，埋点采集的数据测试和质量验证2、业务系统用户、产品、订单等数据使用sqoop一次性全量拉取，canal解析mysql binlog实时增量写入iceberg/hive中;广告投放数据从广告平台定时获取导入；3、参与用户画像签标和统计指标的需求优化，数据仓库优化，并使用hive+iceberg建立数据仓库解决业务数据缓慢变化维的问题，使用flink消费kafka后对数据进行ETL,保存在数仓DWD层中，flink整合iceberg实时聚合DWD层数据，按广告投放、运营、销售等主题保存到DWS层，使用flinksql标签开发和指标统计，新增活动、直播、股票热度、用户、订单等概况分钟级实时统计，标签保存在ES，指标保存mysql4、使用spring开发数据提供接口服务5、后续对flink 优化和维护