安卓自动化内容数据采集平台

我要开发同款
voyagerma2024年02月29日
28阅读
开发技术java
所属分类mysql

作品详情

项目简介:平台用于采集微信公众号文章内容数据,控制中心程序控制多个安卓物理设备自动检索公众号、关注公众号、采集历史文章内容、采集文章热度数据(评论、点赞)。在软件层面建立微信到中心控制程序宿主机的网络桥,在网络桥上拦截微信服务器的响应包,并解析,最终得到微信公众号文章数据、文章热度数据,清洗入库。项目难点:4. 物理设备不稳定(发热卡顿死机);5. 物理设备异常分支过多;6. 微信服务器限流;7. 设备资源最优调度。项目成绩:1. 运行规模a. 12台承载中心控制程序的服务器;b. 100+多台物理手机设备。2. 数据采集量a. 单设备每日采集5000+条数据;b. 整体集群每日采集60w+条数据。3. 稳定性a. 24小时无间断数据采集,自动管理调度物理设备;b. 基本去掉人为干预的自动化控制流程。4. 获得了公司内部技术突破奖。
查看全文
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论