项目描述:构建POI数据中台,异构数据分层入仓,提供数据热查询、日志回放、版本冷备,字段级别差分diff,数据检索。主要任务:对全量的6.5亿条数据进行压缩,字段级别去冗余,头部数据保证10个版本的任意切换与查询,任意数据的回放与回滚。数据处理流程下游数十个服务的调度,数据查询索引的更新,数据对账,异常数据的校验与回滚,数据处理流程的全链路跟踪。项目成果:服务质量99.99%,计算和存储成本每月节省20余万,申请国家发明专利一项;
评论