集团级应用信息统一管理平台,解决各业务线数据分散、重复抓取、标准不统一的问题。平台分为「应用信息服务」与「数据标注平台」两大部分:前者覆盖 APP 上架信息、榜单排名的采集、清洗与聚合,为集团提供标准化数据服务;后者面向运营,建立行业标签体系与回传事件标准,支持应用自动标注与 postback 事件治理。
点击空白处退出提示
集团级应用信息统一管理平台,解决各业务线数据分散、重复抓取、标准不统一的问题。平台分为「应用信息服务」与「数据标注平台」两大部分:前者覆盖 APP 上架信息、榜单排名的采集、清洗与聚合,为集团提供标准化数据服务;后者面向运营,建立行业标签体系与回传事件标准,支持应用自动标注与 postback 事件治理。
1. 爬虫对应用市场抓取任务
2. 运营标注系统应用行业标签标注流程、回传应用数据治理流程(标注包括自动标注和人工标注两部分,自动标注使用大模型能力进行标注,部分人工复查)
3. 应用数据的数据清洗及对外接口服务
职责:
从 0 到 1 负责平台技术方案选型、整体架构、数据链路设计、前后端开发、数据质量体系建设及上线后的业务支持。
项目包括运营标注平台、爬虫任务服务、应用数据对外查询服务等
技术栈:
- 应用信息服务:SpringBoot + Python + MySQL + Redis + Kafka + RESTful
- 大数据处理:Scala + Spark + Hive + Azkaban + AWS S3
- 数据标注平台:SpringBoot + Vue + MySQL + Redis + 公司内部封装的大模型



评论