海外社交媒体广告采集

项目分为广告数据采集、广告投放效果分析、素材资源下载、创意参谋等功能模块，对于国内出海游戏厂商来说，在海外社交媒体投放的广告做到实时追踪、效果反馈、创意参考等功能，为后续广告投放进行对应的优化。
我主要负责数据采集领域，对Facebook、Twitter、Ins、Tiktok等媒体，收集其信息流、商城等有出现广告的地方，通过分析接口、应用风控等方案，日采集量级过亿。此外我还承担了大型分布式采集框架的设计、改进，在k8s集群上部署分布式爬虫，通过调度队列、去重缓存、kafka流式处理等方案，实现数据自动化采集、自动化解析清洗入库，为后续数据分析、数据挖掘提供上游的保障。