随着广告投放行业的快速发展,越来越多广告投放平台相继出现,各平台数据孤立,操作分散的问题日益突出,公司致力于开发一套集成各平台数据和投放功能的统一平台,旨在提升投放效率,降低运营成本
点击空白处退出提示
随着广告投放行业的快速发展,越来越多广告投放平台相继出现,各平台数据孤立,操作分散的问题日益突出,公司致力于开发一套集成各平台数据和投放功能的统一平台,旨在提升投放效率,降低运营成本
广告投放功能集成,通过账号鉴权调用各平台api接口,集成各平台包括拉取数据,修改出价、账户余额查询、创意状态,修改创意状态等
配置加载,独立一个服务以本地缓存加数据库做配置接口,极大提升接口速度,通过rabbitmq做分布式缓存更新,nginx做负载均衡,当服务承载能力达到瓶颈时,通过增加服务和修改nginx做横向扩展。
数据接收,开放日志接收接口,数据过来做一些数据清洗,没问题的数据直接批量往kafka发送,极高的吞吐量,nginx做负载均衡,支持横向扩展。
数据处理分析,批量接收kafka消息,定时异步提交,将数据做处理分析,分帐户和创意等维度,统计收益,进入人次,进入人数,广告曝光,广告点击等,实时将数据写入redis.
数据后台,通过定时任务,将各个账号的数据按账号维度和创意维度等,结合广告平台拉取的数据和redis获取的实时数据,将结果做一些计算和汇总写入mysql,并提供接口供前端页面展示。
我主导了事件驱动架构的设计及落地,通过服务解耦、异步削峰、分层存储等架构手段,有效解决了数据丢失、统计延迟、查询性能三大核心问题。系统上线后,qps达到了上万级别,数据统计延迟控制在了秒级,有效支撑了公司业务的高速增长。



评论