对原来老系统改造,大约接入6家食品企业,历史4亿条数据,由于结构负责,数据量大早晨数据重复,查效率低,报表性能太差,功能单一。通过引入大数据技术对数据库优化,实现了:1.高性能查询、查重,提升数据统计功能。2.用户查询追踪等功能。3.数据抓取失败重试,抓取进程监控。4.大批量数据快速去重,存储和高性能查询接口。
评论