本地多模态视频转写与画面 OCR 流水线产品系统

我要开发同款
奸奇2026年10月27日
3阅读

技术信息

语言技术
Python

作品详情

行业场景

客户丢来课程、直播或会议录屏,要文字稿,还要画面里的板书和 PPT 文字。这类素材往往涉密或涉客户隐私,上传云端既花钱又不放心;人工听打一条一小时视频要半天,批量根本做不完。这条流水线就是为「录屏进去、带时间戳的稿子出来」这种活准备的,全程本地推理,素材不出机器。

功能介绍

用 ffmpeg 抽音轨、按间隔抽关键帧;音频走 faster-whisper(small 模型,CPU int8 量化)转写并按停顿切句;画面走 rapidocr 识别文字;两路结果按时间戳对齐合并,输出带时间点的纯文本和带画面注记的 md;支持本地文件与 URL(yt-dlp 拉流);长视频按段处理、每段单独落盘,断了从下一段接着跑,不用从头重来。

项目实现

Python 脚本负责转写与 OCR,PowerShell 外壳负责参数、路径和批量调度(视频2文字.ps1 / 视频2文字-画面.ps1)。几个实现上的坑:ffmpeg 的 stderr 会被 PowerShell 当成终止错误,必须改 ErrorActionPreference 并加 loglevel error;OCR 与转写时间戳有几百毫秒偏差,按秒级窗口归并,冲突以音频为准、画面文字降级为旁注单列;声音模型和 OCR 模型都走本地缓存目录,不联网下载;长任务交给受管后台任务执行,日志和状态落盘,失败可续。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论