企业多业务库数据孤岛场景,定时抽取业务库数据,做字段映射、数据质量校验,汇总到数仓,自动生成业务统计报表,定时推送报表给业务人员。
点击空白处退出提示
语言技术
Java、Kafka、ElasticSearch、Maven、SpringCloud系统类型
Web行业分类
低代码
企业多业务库数据孤岛场景,定时抽取业务库数据,做字段映射、数据质量校验,汇总到数仓,自动生成业务统计报表,定时推送报表给业务人员。
1. 多数据源抽取,MySQL等源数据接入;
2. ETL转换:字段清洗、格式转换、去重、数据质量校验;
3. 定时任务调度,任务监控、失败告警、自动重试;
4. 统计指标计算,生成报表;
5. 报表接口,支持前端展示,邮件推送日报。
SpringBoot开发ETL任务,基于XXL-Job做任务调度;使用Hadoop+Hive构建离线数仓;完成数据抽取转换、异常捕获;报表统计逻辑封装为API,支持定时邮件推送,交付部署脚本与运维文档。



评论