TG、X数据抓取产品系统

我要开发同款
terryyongjiang2026年06月01日
5阅读

技术信息

语言技术
PythonKafka
系统类型
Web
行业分类
内容平台

作品详情

行业场景

1.需要TG特定群组的历史消息供分析查看等,图片视频等附件需要对应OCR,AI识别等
2.跟踪X账户的发文等消息

功能介绍

1.抓取脚本循环采集TG群组的历史消息数据(含图片视频等),要求账号有群权限,没有被封禁等
2.python脚本抓取X账户的发文回复等消息,时效性看要求,以及账户信息等

项目实现

TG使用telethon,X使用twscrape 实现社媒数据的稳定抓取,总体python实现,数据也通过kafka直接接入clickhouse,doris等存储引擎

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论