大熊猫行为识别研究与应用

论文摘要

行为识别是计算机视觉领域中的一个重要方向,也是近年来随着深度学习浪潮兴起的一个研究热点。行为识别技术以图片、视频信息为基础,提取其中时空特征进行学习建模,从而对目标当前的行为动作进行判别,以方便决策人员快速反应并采取相应措施。当前的行为识别技术及其相关研究主要针对人类行为,人类行为定义较为精确,可辨识度高,数据集充足,在近几年人类行为识别技术已经取得了可喜的进展。与人类行为识别方法研究相比,针对大熊猫的行为识别研究存在着如下亟待解决的问题:（1）现实中大熊猫行为数据匮乏,可以获取到的视频数据同质化问题严重。（2）目前没有一个标准的数据集用来评价熊猫行为识别效果。（3）由于体态、环境噪音等多种影响因素,大熊猫姿态模糊、可辨识度低,增加了对这类生物识别的困难（4）从长期发展来看,大熊猫行为识别技术对时间性能有一定要求。针对上述问题,本文提出了两种基于Transformer模型的大熊猫行为识别算法。一种是基于空时信息模型的CNN-Transformer算法,该算法利用卷积神经网络提取视频帧的空间特征图,将特征图压缩为向量并输入到Transformer的encoder部分实现时序建模;另一种是在Transformer中融入卷积运算的ConvTransformer算法,该算法创新性地改进了Transformer模型的计算流程,使得算法可以直接接收特征图作为输入,从而更好地利用数据的空间信息。为了尽可能准确地评估算法,我们收集了一些熊猫视频,并制作了含有五种行为类型的熊猫短视频数据集,同时为了更公正地评估算法,我们还引用了一个常用的人类行为数据集UCF101。实验证明本文提出的算法无论在针对人类行为的UCF101数据集上还是在熊猫短视频数据集上都有着优秀的表现。最后本文实现了一个基于大熊猫行为识别算法的视频检索平台,该平台可以根据用户上传的视频自动进行分类,然后检索数据库中与之最相近的若干视频,并返回给用户界面。

论文目录

摘要

abstract

第一章绪论

1.1 研究背景与意义

1.2 国内外研究历史与现状

1.3 本文的主要贡献与创新

1.4 本论文的结构安排

第二章行为识别相关基础理论知识

2.1 视频分类历史进展

2.1.1 传统方法

2.1.2 单模型

2.1.3 混合模型

2.2 深度神经网络介绍

2.2.1 卷积神经网络

2.2.2 循环神经网络

2.3 注意力机制

2.3.1 软注意力机制

2.3.2 硬注意力机制

2.4 Transformer模型

2.4.1 位置编码

2.4.2 缩放点积感知

2.4.3 多头感知

2.4.4 残差链接与层归一化

2.4.5 位置全连接前馈网络

2.5 视频分类常用数据集

2.6 本章小结

第三章基于TRANSFORMER的行为识别算法

3.1 CNN-Transformer算法

3.1.1 CNN-Transformer算法架构

3.1.2 CNN-Transformer算法细节

3.2 ConvTransformer算法

3.2.1 ConvTransformer算法架构

3.2.2 ConvTransformer算法细节

3.2.2.1 输入

3.2.2.2 修改位置编码

3.2.2.3 修改多头感知

3.2.2.4 修改残差链接与归一化

3.2.2.5 修改位置全连接前馈网络

3.2.2.6 结果输出

3.3 本章小结

第四章实验及结果分析

4.1 实验环境

4.2 数据集

4.2.1 UCF101

4.2.2 熊猫短视频数据集

4.3 评价标准

4.3.1 分类正确率

4.3.2 单类分类正确率

4.3.3 训练耗时

4.4 数据预处理

4.5 参数设置

4.6 实验结果与分析

4.6.1 UCF101 实验结果

4.6.2 熊猫短视频数据集实验结果

4.7 复数encoder堆叠模型

4.8 本章小结

第五章基于大熊猫行为识别的视频检索平台

5.1 需求分析

5.1.1 业务描述

5.1.2 功能需求

5.2 平台总体设计

5.3 模块设计

5.3.1 用户模块

5.3.2 上传模块

5.3.3 分类模块

5.3.4 检索模块

5.3.5 数据库模块

5.4 系统实现及展示

5.5 本章小结

第六章总结与展望

6.1 全文总结

6.2 未来展望

致谢

参考文献

文章来源

类型: 硕士论文

作者: 郭浩然

导师: 周世杰

关键词: 深度学习,神经网络,行为识别,模型

来源: 电子科技大学

年度: 2019

分类: 基础科学,信息科技

专业: 生物学,计算机软件及计算机应用

单位: 电子科技大学

分类号: TP391.41;Q958

总页数: 80

文件大小: 3910K

下载量: 100

大熊猫行为识别研究与应用

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢