论文摘要
针对视频序列中人体动作识别存在信息冗余大、准确率低的问题,提出基于关键帧的双流卷积网络的人体动作识别方法.该方法构建了由特征提取、关键帧提取和时空特征融合3个模块构成的网络框架.首先将空间域视频的单帧RGB图像和时间域多帧叠加后的光流图像作为输入,送入VGG16网络模型,提取视频的深度特征;其次提取视频的关键帧,通过不断预测每个视频帧的重要性,选取有足够信息的有用帧并汇聚起来送入神经网络进行训练,选出关键帧并丢弃冗余帧;最后将两个模型的Softmax输出加权融合作为输出结果,得到一个多模型融合的人体动作识别器,实现了对视频的关键帧处理和对动作的时空信息的充分利用.在UCF-101公开数据集上的实验结果表明,与当前人体动作识别的主流方法相比,该方法具有较高的识别率,并且相对降低了网络的复杂度.
论文目录
文章来源
类型: 期刊论文
作者: 张聪聪,何宁
关键词: 关键帧,双流网络,动作识别,特征提取,特征融合
来源: 南京信息工程大学学报(自然科学版) 2019年06期
年度: 2019
分类: 工程科技Ⅱ辑,信息科技
专业: 计算机软件及计算机应用,自动化技术
单位: 北京联合大学机器人学院,北京联合大学智慧城市学院
基金: 国家自然科学基金(61872042,61572077),北京市自然科学基金委和北京市教委联合重点项目(KZ201911417048)
分类号: TP391.41;TP183
DOI: 10.13878/j.cnki.jnuist.2019.06.009
页码: 716-721
总页数: 6
文件大小: 867K
下载量: 186