CogVLM2-Video-Llama3-Chat

介绍

CogVLM2-Video 在多个视频问答任务上达到了 state-of-the-art 的性能，能够实现一分钟内的视频理解。 我们提供了两个示例视频，分别展现了 CogVLM2-Video 的 视频理解和时间序列定位能力。

榜单性能

下图显示了 CogVLM2-Video 在 MVBech、VideoChatGPT-Bech 和 Zero-shot VideoQA 数据集 (MSVD-QA、MSRVTT-QA、ActivityNet-QA) 上的性能。

其中 VCG 指的是 VideoChatGPTBech，ZS 指的是零样本 VideoQA 数据集，MV-* 指的是 MVBech 中的主要类别。

评估结论

具体榜单测试数据如下：

CogVLM2-Video 在 MVBech 数据集上的表现

评估和复现

我们遵循以前的研究来评估我们模型的性能。在不同的基准测试中，我们为每个基准测试制作特定于任务的提示：

``` pytho

For MVBech

prompt = f"Carefully watch the video ad pay attetio to the cause ad sequece of evets, the detail ad movemet of objects, ad the actio ad pose of persos. Based o your observatios, select the best optio that accurately addresses the questio.\ " + f"{prompt.replace('Short Aswer.', '')}\" + "Short Aswer:"

For VideoChatGPT-Bech

prompt = f"Carefully watch the video ad pay attetio to the cause ad sequece of evets, the detail ad movemet of objects, ad the actio ad pose of persos. Based o your observatios, comprehesively aswer the followig questio. Your aswer should be log ad cover all the related aspects\ " + f"{prompt.replace('Short Aswer.', '')}\" + "Aswer:"

For Zero-shot VideoQA

prompt = f"The iput cosists of a sequece of key frames from a video. Aswer the questio comprehesively icludig all the possible verbs ad ous that ca discribe the evets, followed by sigificat evets, characters, or objects that appear throughout the frames.\ " + f"{prompt.replace('Short Aswer.', '')}\" + "Aswer:" ```

有关评估代码，请参阅 PLLaVA 中的 评估脚本。

快速调用

本仓库为 chat 版本模型，支持单轮对话。

您可以在我们的 github 中快速安装对应的 Pytho包 依赖和运行模型推理。

模型协议

此模型根据 CogVLM2 LICENSE 发布。对于使用 Meta Llama 3 构建的模型，还请遵守 LLAMA3_LICENSE。

引用

我们即将发布技术报告，尽情期待。

CogVLM2-Video-Llama3-Chat 介绍 CogVLM2-Video 在多个视频问答任务上达到了 state-of-the-art 的性能，能够实现一分钟内的视频理解。 我们提供了两