基于关键帧的多特征融合行为识别系统

发布时间：2024-04-03 03:13

　　人体行为识别是智能监控、人机交互等多个应用领域的核心支撑技术之一,近年来得到了广泛研究。现有的基于视频的方法大多使用原始视频或者等量采样方式提取视频的RGB图像特征和光流特征进行行为识别,该方法容易受到视频中冗余信息的影响,并且随着研究对象越来越多样性,RGB图像特征和光流特征难以表达出视频中的全部信息,影响行为识别准确率的提升。为解决上述问题,本文围绕视频关键帧提取技术和视频特征表达展开研究,提出了一种基于关键帧的多特征融合行为识别方法,并基于该方法构建原型系统。主要内容包括如下:1.针对行为识别研究中的视频信息冗余问题,提出了基于关节点贡献度加权的关键帧提取方法。本方法首先以人体关节点信息作为视频特征描述子,结合人体运动时关节点的活跃度不同,提出了关节点贡献度加权的帧间的相似性计算方法;然后基于相邻帧的帧间相似性划分视频得到聚类的初始类簇;最后使用K-means聚类算法提取运动视频关键帧。该方法与其他基于聚类的关键帧提取方法相比,细化了动作间的差异性并且保证了关键帧的时序性,在保真率和查全率两方面都得到了提升。2.针对视频中单一特征对视频信息表达不足问题,提出了一种基于关键帧的多特...

【文章页数】：81 页

【学位级别】：硕士

【部分图文】：

图12双流卷积网络中间与时间网络白

（4）测试结果按UCF101split1上的划分进行数据测试，首先通过第三章的方法提取出测试集上数据的关键帧，分别提取了k3、k10和k25时的关键帧。空间网络的输入为一帧关键帧图像数据，时间网络的输入为关键帧及其附近9帧的光流图像形成的堆叠光流....

本文编号：3946626