基于深度学习和脑机接口的服务机器人情感识别方法研究

论文摘要

情感识别和分类在学术领域已经有很深入的研究,也取得了一些前沿的成果。但是,无论是在二维图像方面,三维人脸表情方面,还是语音识别领域,目前可以达到的情感识别率都偏低。为此,本论文采用近年来性能突出的深度学习模型,并加入本文进行的改进和创新,从视觉、语音以及脑电波三个方面进行了研究与探讨,并将改进的模型与NAO仿人机器人相结合进行实验研究,使得NAO仿人机器人具备识别人类情感的功能。本文首先在视觉领域,采用Capsule Net和反卷积重构图像误差的方法,训练了经过数据增强的人脸表情数据集Cohn-Kanade Dataset（CK+）,得到了表情识别模型。利用该模型可以分类七种情感,分别是生气、厌恶、平静、高兴、恐惧、悲伤、惊讶,并把该模型和其他著名的深度学习模型进行对比实验,可以得出本文采用的模型在准确率和收敛速度上有着最好的表现。其次,在语音领域,本文采用双向循环神经网络Bi-LSTM（Bi-directional Long Short-Term Memory）,并在其后加入Attention Model（AM）对提取出的较为重要突出的特征给予更多关注。之后使用Dropout机制降低网络复杂度。本文采用的实验对德国柏林语音情感数据集EMO-DB进行了训练和测试,一共分类七种情感。最后与相关论文中的结果进行对比,发现本文采用的模型得到的识别准确率的稳定性和最高准确率都更胜一筹。接着,利用具有8电极通道的脑电极帽采集关于人类情感的脑电图（Electroencephalogram,EEG）进行情感识别实验研究。在实验过程中把脑电极帽戴在受试人员的头部,脑电帽和电脑端的脑电波检测软件通过脑机接口连接之后,就可以测出受试人员在不同情感状态时候的脑电波数据,然后再利用机器学习模型对采集的数据进行情感分类。最后,在完成上述三类情感研究实验后,将训练模型和NAO仿人机器人进行对接,实现了一种简单的仿人机器人和人类的情感交互过程,取得了良好的效果。

论文目录

文章来源

类型: 硕士论文

作者: 张京儒

导师: 肖南峰

关键词: 情感识别,脑机接口,机器人

来源: 华南理工大学

年度: 2019

分类: 基础科学,医药卫生科技,信息科技

专业: 生物学,生物医学工程,自动化技术,自动化技术

单位: 华南理工大学

基金: 国家自然科学基金资助项目(项目编号61573145),广东省公益研究与能力建设专项资金(第一批,项目编号2014B010104001),广东省省自然科学基金项目(项目编号2015A030308018)

分类号: TP242;TP18;R318

DOI: 10.27151/d.cnki.ghnlu.2019.003592

总页数: 73

文件大小: 4092K

下载量: 221

相关论文文献

• [1].情感识别技术在轻度认知障碍中的应用现状[J]. 护理研究 2020(10)
• [2].基于层次注意力机制的维度情感识别方法[J]. 计算机工程 2020(06)
• [3].基于知网数据的情感识别国内研究情况综述[J]. 网络新媒体技术 2018(06)
• [4].基于模糊核聚类的多模式情感识别算法研究[J]. 电子设计工程 2016(20)
• [5].音乐情感识别研究进展[J]. 复旦学报(自然科学版) 2017(02)
• [6].深度学习在脑电情感识别方面的应用研究进展[J]. 计算机时代 2020(08)
• [7].情感识别综述[J]. 电脑知识与技术 2018(08)
• [8].情感识别算法应用现状及发展趋势研究[J]. 电子世界 2019(15)
• [9].语音与文本情感识别中愤怒与开心误判分析[J]. 计算机技术与发展 2018(11)
• [10].一种基于深度学习的面部视频情感识别方法[J]. 现代计算机 2020(28)
• [11].多视角判别分析的情感识别[J]. 信号处理 2018(08)
• [12].基于皮肤电信号与文本信息的双模态情感识别系统[J]. 计算机系统应用 2018(11)
• [13].情感化设计与品牌情感识别[J]. 时代人物 2008(11)
• [14].触觉手势情感识别的超限学习方法[J]. 智能系统学报 2019(01)
• [15].情感识别与教育[J]. 人工智能 2019(03)
• [16].基于图像分析的教育视觉情感识别[J]. 现代教育技术 2020(02)
• [17].融合人类认知网络优化的中国画情感识别[J]. 模式识别与人工智能 2020(02)
• [18].一种基于行为上下文的视频情感识别方法[J]. 微电子学与计算机 2019(05)
• [19].基于音乐情感识别的舞台灯光控制方法研究[J]. 计算机测量与控制 2020(11)
• [20].基于模糊专家规则的音乐情感识别检索研究[J]. 年轻人 2019(12)
• [21].全球首个具有情感识别功能的家用机器人[J]. 传感器世界 2014(06)
• [22].基于长短时记忆网络的多模态情感识别和空间标注[J]. 复旦学报(自然科学版) 2020(05)
• [23].多文化场景下的多模态情感识别[J]. 软件学报 2018(04)
• [24].脑电情感信号正确提取仿真[J]. 计算机与现代化 2017(01)
• [25].复合时空特征的双模态情感识别[J]. 中国图象图形学报 2017(01)
• [26].基于深度学习的音乐情感识别[J]. 电脑知识与技术 2019(11)
• [27].基于多层特征描述及关系学习的智能图像情感识别[J]. 陕西师范大学学报(自然科学版) 2019(05)
• [28].基于专利申请的音乐识别技术分析[J]. 科技创新与应用 2019(21)
• [29].基于两层迁移卷积神经网络的抽象图像情感识别[J]. 中国科学技术大学学报 2019(01)
• [30].特征组合的中文音乐情感识别研究[J]. 安徽大学学报(自然科学版) 2014(06)

标签：情感识别论文;  脑机接口论文;  机器人论文;