帆软报表迁移

项目描述：原本报表直连业务库，由 sql 开发人员直连业务库进行业务逻辑开发，由于大部分报表逻辑复杂涉及
时间线较长、数据量较大造成业务库阻塞情况时有发生，领导决定进行报表迁移，目标是报表开发与业务库零耦合。
最终完成效果非常理想，不仅查询速度提升了 99%以上，与业务库也成功剥离。
个人职责：项目经理、架构设计、数据开发
1.作为该项目的负责人，负责本项目从项目启动到项目结项所有流程
2.明确产品与用户需求，编写项目章程与技术架构交由技术委员会审核
3.技术架构构建与人员分工，解决技术难点及风险把控
技术方案：kafka 实时拉取 sqlserver cdc 日志、mysql binlog 日志到报表 mysql 数据库主库贴源层，从库实时同步
主库数据(主从读写分离)，经 XXLJOB 调度至 doris(mpp 分析型数据库)分层存储（dim、dws、dwd、dm 均在 doris
中），kafka 拉取加工完的数据到 redis，帆软和 BI 连接 redis