和平TDW资产迁移StarRocks框架(三阶段 2022/11-2023/7)
项目目的:1.StarRocks结合DA快速取数能力;2.自助提数功能
项目背景:为了更好的适配DA自助提数和报表功能,StarRocks的亚秒级响应能力,理论上能够大幅提升提数,报表类需求的开发效率。在经过论证费用,效率可实现性之后,把之前tdw数仓资产迁移到StarRocks。
工作事项:
1.参与sr新架构组合验证(测试相同数据量表在tdw 与sr中查询,存储,调度,综合成本对比);
2.参与cos测试,补录tlog数据;
3.和平资产迁移到sr,部分函数改写ETL;
4.sr使用及反馈(部分函数不支持,etl改写逻辑);
5.DA多维分析数据集构建;
点击空白处退出提示
评论