传统视频特征提取高度依赖领域知识,切鲁棒性差,泛化能力也不够。深度学习的方法通过多层非线性变换,从原始数据中学习层次化的特征表示,从而实现更准确、更鲁棒的特征提取。操作步骤如下:
(1)对原始短视频做简单的预处理,使用FFmpeg工具快速将视频按照帧抓取图片;
(2)依照准确率和时间的需求决定输入模型的图片的数目N,以相等的间隔均匀地从所有图像中抽取输入图像,组成一段有序的输入帧,并剪切成224像素×224像素的大小;
(3)将步骤(2)中处理好的图片输入二维卷积神经网络,输出浅层特征表示图;
(4)将步骤(3)的输出结果,输入伪三维卷积神经网络,进行时间信息和高维空间信息学习.