项⽬目简介:同步多个业务库binlog，⽤用storm清洗、join出宽表落⼊入缓存，⽤用分布式服务在 宽表上计算特征并落⼊入缓存，⽤用服务化对外提供特征查询项⽬目细节:使⽤用databus同步业务库binlog或者使⽤用⽇日志中⼼心组件收集业务⽇日志，将数据 打到kafka，⽤用storm完成数据清洗、多流合并、建⽴立索引，将合流的宽表数据落地到缓 存，下游使⽤用服务每分钟通过索引拉取缓存中关注的数据(并清理理过期数据)，在内存数 据库H2中进⾏行行SQL运算，⽣生产各种维度的的指标并落地到缓存集群，供特征查询服务使 ⽤用。各个环节可以通过元数据管理理系统进⾏行行扩展，⽐比如统计指标⽤用的SQL，⽐比如合流的添 加。整个系统对外提供约300个特征，⾼高峰期特征查询QPS达到50w，提供了了配送智能调 度系统所有算法使⽤用的实时特征数据