所属公司:唯品会(中国)有限公司
项目描述:提供离线、实时属性/人群数据项金融业务系统提供更加定制化、更加快速响应的人群需求, 每天支持20多个金融系统3亿多次请求服务(2021双十一大促峰值qps14万左右),适用于判断人群可以参加优化活动、可以获得免息资格,提供风控实时数据,根据人群展示个性化支付入口。
架构设计:
1. 接口域,负责各个业务系统标签接入及使用,接口服务响应能力保障;
2. 实时计算域,storm集群(3个集群、400台左右服务器),接入(商城,金融)业务库,由storm进行实时属性、人群计算,结果落Redis集群。
3. Storm目前由于运维和延迟的关系,进行实时计算系统升级,迁移到Flink,本人主要负责系统升级迁移到设计,并带领团队进行功能开发;
4. 基于spark 进行 T+1统计准实时人群、属性计算优化,由原先计算10小时缩短到3小时左右。
5. 线上标签异常问题跟踪;