动作识别模型介绍

模型描述

Patch Shift Trasformers(PST) 是在2D Swi-Trasformer的基础上，增加temporal建模能力，使网络具备视频时空特征学习能力。而这一操作几乎不增加额外参数。具体地，通过shift不同帧之间的patch, 然后在每帧内部分别进行self-attetio 运算，这样使用2D的self-attetio计算量来进行视频的时空特征建模，论文原文链接。

PatchShift示意图：

使用方式和范围

使用方式：

• 在公开数据集Kietics400支持的标签上进行短视频分类，如果需要进行日常动作检测(如跌倒检测、吸烟检测等)，可使用日常动作检测模型。

使用范围:

• 适合视频领域的动作识别检测，分辨率在224x224以上，输入视频长度10s以内

目标场景:

• 视频中的动作识别，比如体育、影视、直播等

代码范例

import cv2
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

#创建pipelie
actio_recogitio_pipelie = pipelie(Tasks.actio_recogitio, 'damo/cv_pathshift_actio-recogitio')

#运行pipelie,输入视频的本地路径或者网络地址均可
result = actio_recogitio_pipelie('http://viapi-test.oss-c-shaghai.aliyucs.com/viapi-3.0domepic/facebody/RecogizeActio/RecogizeActio-video2.mp4')

prit(f'actio recogitio result: {result}.')

输出：

{'labels': 'abseilig'}

• labels: 英文类别名称

数据评估以及结果

在Somethig-Somethig V1 & V2，Kietics400数据集上的模型性能：

更多模型训练和测试细节可参考论文和开源代码。

引用

如果你觉得这个该模型对有所帮助，请考虑引用下面的论文：

@article{xiag2022tps,
  title={Spatiotemporal Self-attetio Modelig with Temporal Patch Shift for Actio Recogitio},
  author={Wagmeg Xiag, Chao Li, Biao Wag, Xiha Wei, Xia-Sheg Hua, Lei Zhag},
  joural={Proceedigs of the Europea Coferece o Computer Visio},
  year={2022}
}

动作识别模型介绍 模型描述 Patch Shift Transformers(PST) 是在2D Swin-Transformer的基础上，增加temporal建模能力，使网络具备视频时空特征学习能力