全景拾光——基于多模态大模型的全景视频高光提取系统产品系统

全景拾光面向聚会记录、校园活动、旅行拍摄及内容创作等视频整理场景。全景相机能够记录多个方向的画面，但素材时长较长、主体分散，用户往往需要反复观看、调整视角并手动截取精彩片段，整理成本较高。本项目围绕“从全景长视频中发现精彩瞬间”的需求，结合人物检测与多模态大模型分析，辅助用户筛选高光内容并导出短片和照片，为后续剪辑、活动回顾和个人影像保存提供素材。

1. 拍摄与上传：提供桌面操作界面，支持相机画面预览、拍摄控制、持续上传及处理进度查看。
2. 本地视频分析：支持导入已拼接的全景视频或普通视频，开展候选片段提取和高光分析。
3. 人物检测与场景分区：检测视频中的人物，根据人物位置划分候选场景，从全景画面中提取适合分析的视角。
4. 多模型高光评审：调用多模态大模型分析候选片段，通过多个评审结果的综合判断筛选精彩事件。
5. 成果导出与回传：导出高光短片、照片和时间线清单，并支持远程处理结果回传，方便用户查看和进一步整理。

我主要负责项目方案设计、桌面界面开发，以及视频采集、远程处理和结果导出流程的整合。项目以 Python 为主要开发语言，采用 PyQt5 构建桌面界面，结合 OpenCV、NumPy 和 Ultralytics YOLO 完成视频处理、全景视角转换与人物检测，并接入多模态大模型开展候选片段评审。

系统采用桌面客户端与远程处理服务协同的架构，将采集上传、人物检测、场景分区、模型评审和成果导出组织为分阶段处理流程。实现重点包括全景画面中的人物定位与视角裁切、多评审并行调用及结果汇总，以及上传和分析过程中的进度反馈、任务取消与异常处理。通过将候选场景提取与语义评审结合，实现从原始视频素材到高光内容输出的完整处理链路。