自媒体和运营每天要盯着各个平台榜单找选题,手动刷 B站、豆瓣、CSDN 好几个站点,截图、记 Excel,一天花两小时还经常漏。这个系统把三源数据自动聚合存进数据库,用「互动率」和「增量」两个指标回答同一个问题——什么内容正在起量,让人不用刷榜也能看到趋势。
点击空白处退出提示
自媒体和运营每天要盯着各个平台榜单找选题,手动刷 B站、豆瓣、CSDN 好几个站点,截图、记 Excel,一天花两小时还经常漏。这个系统把三源数据自动聚合存进数据库,用「互动率」和「增量」两个指标回答同一个问题——什么内容正在起量,让人不用刷榜也能看到趋势。
系统分四个模块。一、多源采集:B站排行榜、豆瓣热门电影、CSDN 技术热榜并发抓取,单源失败不影响其它源。二、统一入库:数据存 SQLite,按平台加条目做唯一键 upsert,重复采集不会产生冗余行。三、趋势分析:每轮采集落一份快照,用窗口函数算两次之间的播放差,输出增量榜;同时按(点赞加投币)除以播放算互动率,找播放不高但黏性极强的内容。四、看板呈现:统计卡、互动率条形榜、分区分布、三源榜单、25 条明细分页,全部纯 CSS 绘制。
我负责全部设计与开发。采集层用线程池并发三源、每源三次重试;数据层 SQLite 开启 WAL,snapshots 表配窗口函数做前后两次差分;Web 层 Flask 渲染,图形用纯 CSS 画条形,避免图表库在无网环境下变成空白。共 794 行代码,实测入库 169 条,单轮采集耗时 1.1 秒。



评论