电信大数据客户服务平台,分为实时服务以及离线服务两个部分,该平台承载了电信所有手机号的数据服务输出。
单日实时服务访问量达到千万级别,QPS:4W, 离线任务2000+。
1. 实时接口服务包括数据访问服务,接口服务,前置代理服务,以及统一认证服务,整体服务采用dubbo+restexpress实现。
2. 离线接口服务是基于spark进行开发的,通过 sparkSQL查询指定条件的手机号数据。支持精准获客外呼业务。通过spark-submit方式提交任务。
3. 项目基于自定义注解和dubbo泛化引用调用实现服务的自动发布和发现。
解决了项目频繁fullGC问题。优化了离线任务调度的机制。保证了任务不丢失。