短视频与自媒体内容生产已进入高频、低成本的竞争阶段,创作者和中小团队普遍缺乏专业的分镜、拍摄与后期能力,单条视频制作周期长、外包成本高。同时现有 AI 视频工具流程割裂,素材管理、分镜编写、生图与视频生成分散在多个平台,参数门槛高,且角色与场景一致性难以保证。
本项目面向短视频创作者、电商运营、教育培训机构及轻量影视制作团队,提供从文案/剧本文本到成片的一站式 AI 视频生产工作台:以素材库沉淀人物、场景、音频资产,由 AI 自动拆分镜并输出结构化镜头描述,再逐段生成可无缝续接的视频片段并自动合并,把视频制作的時間与人力成本降到最低。
项目是一个端到端的 AI 视频生产平台,包含六大功能模块:
1. 素材库:支持图片、视频、音频上传,可对人物/物品智能抠图、场景整帧入库,自动跨帧去重;素材可命名并绑定关键词,在文案中以 @[素材名] 方式精准引用。
2. 视频生成:支持文生视频与参考图生视频,提供 6 种画幅、720P、1-15 秒时长,可一次批量生成最多 8 条;队列满时自动排队重试并实时显示等待时长,支持随时取消。
3. 剧本生成:长文本(超 6000 字)自动分块,AI 按指定镜头数(最多 60 镜)拆分镜,每镜输出环境、人物、对白、动作、景别、运镜、光影、声音八要素;逐段生成时自动把上段末帧作为下段首帧,保证画面连续性,最后自动合并成片。
4. 图片生成:文生图、图生图(以图为底按要求改图)、角色三维图及四视图/六视图设定稿。
5. AI 助手:内置多模型对话助手,支持截图粘贴、拖拽与多图输入,可读取图片内容辅助创作。
6. 项目管理:项目保存与恢复、提示词历史、成片库管理;配套多用户系统(注册、邀请码、管理员、数据隔离、手机号找回密码)。
技术栈:Python + Flask 提供后端服务,前端为原生 JavaScript 单页应用(HTML/CSS),无重型框架依赖。
实现要点:
1. 视频能力对接 agnes-video-2.5-flash,支持文生与参考生两种模式;用 imageio-ffmpeg 静态二进制完成抽帧与多段视频合并,按 8n+1 规则计算帧数保证 24fps 输出。
2. 素材提取采用"均匀采样≤30帧 → 视觉识别 → dHash 跨帧去重 → rembg 抠图"的流水线,候选结果需用户勾选确认后才入库。
3. 图片能力对接 agnes-image-2.5-flash,文生图用 return_base64,图生图用 extra_body.image + b64_json,统一错误映射。
4. 多用户鉴权基于 Flask session + werkzeug 密码哈希,按 owner 字段做数据隔离,旧数据自动迁移到管理员。
难点与解决:
- 上游免费队列限流:最初后端在请求内 sleep 重试,导致代理隧道长时间无数据被掐断并报 "Failed to fetch";改为后端快速失败、由前端每 15 秒无限重试并显示排队计时,配合 AbortController 实现秒级取消。
- rembg 模型在 HTTP 请求线程首次推理会挂死,改为在 app.run 前于主线程预热会话并加锁复用。
- 长文本分段后镜头易断裂,用"上段末帧作下段首帧"保证跨段连续性。
声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!

下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态
评论