基于生物电信号的人机交互技术及其在虚拟现实中的应用研究

论文摘要

人机交互（Human-Computer Interaction,HCI）是指人与计算机或其他外部设备之间的信息交换过程。基于生物电信号的人机交互技术是一种不同于传统鼠标、键盘的新型交互技术,它可以将采集到的人体生物电信号通过算法识别直接转化为计算机的控制命令,无需用户手脚的参与,从而可以为残疾人群体的日常生活提供一种有效的辅助。虚拟现实（Virtual Reality,VR）作为最先进的计算机仿真模拟技术,是实现人机交互的一种绝佳的平台。本文以实际应用为前提,将生物电信号与虚拟现实技术相结合,研究基于生物电信号（主要是脑电（Electroencephalography,EEG）和眼电（Electrooculography,EOG）信号）的人机交互技术及其在虚拟现实中的应用。首先,本文将三维虚拟现实建模与动画技术引入到基于EEG的人机交互范式中,提出一种基于立体视觉刺激的三维P300字符拼写系统。基于EEG的人机交互系统又称为脑机接口（Brain-Computer Interface,BCI）,P300字符拼写系统是目前最受欢迎并得到广泛关注的脑机接口应用类型。本文从改善传统P300字符拼写系统的性能入手,提出一种新型的三维刺激范式。在此范式中,我们利用三维闪烁方块取代传统的二维闪烁平面来构建人机界面,每个刺激由一个快速闪烁（颜色改变）和一个三维运动相结合而成。12名健康受试者参加了一个离线实验和一个在线实验。实验结果表明,本文提出的3D范式能够诱发出比传统2D范式幅度更高的P300波形,从而显著地改善字符拼写的分类准确率和信息传输率。其次,基于第一项工作中所得到的三维脑机接口在诱发ERP方面的优越性能,面向意识障碍病人的视觉惊吓评估,提出一种新的三维脑机接口系统。前期的研究结果证实了脑机接口技术可以有效地支持CRS-R量表中听觉惊吓,视觉定位以及交流功能的评估。然而,在视觉惊吓评估方面,传统的二维脑机接口刺激范式很难模拟出该项评估中手指戳眼睛的动态效果,目前此方面的研究一直处于空白状态。针对此种现状,本文基于虚拟现实技术设计了一个用于辅助意识障碍病人视觉惊吓评估的三维脑机接口系统。本系统采用4:1比率的标准刺激和偏差刺激构成刺激序列,其中标准刺激采用静态的手指背景画面,而偏差刺激采用动态的手指戳眼睛动画,诱发受试者的P300电位。8位意识障碍病人参加了脑机接口评估和CRS-R量表的评估。详细的数据分析表明了三维脑机接口系统在检测视觉惊吓响应方面的有效性。再次,考虑到EOG信号具有比EEG信号幅度大、信噪比高、稳定性好等优势,提出了一种基于EOG的虚拟现实交互系统。与现有的基于EEG或EOG的虚拟现实交互系统不同,本系统是利用人眼的眨眼反应时间与按键闪烁之间的同步性来实现目标键与非目标键的区分。使用者可以通过执行与目标按键的闪烁相同步的眨眼来发出对应的控制命令。在本项目中,我们将小型生物电信号放大器、柔性干电极、移动终端以及VR头盔进行集成,充分发挥EOG信号采集在便携性方面的优势,实现了基于EOG的移动便携式虚拟现实应用。本系统以室内环境控制仿真作为测试案例,10名健康受试者参与了在线虚拟现实交互实验。实验结果表明,所有的受试者都可以使用本系统高效地完成各项交互任务,系统的多项性能指标要优于现有的基于EEG或EOG的虚拟现实交互系统。最后,更进一步地,综合考虑EEG和EOG各自的特点,本文提出了一种基于混合脑机接口的虚拟现实交互系统。在前面的工作中,我们提出了一种基于EOG的虚拟现实交互系统,该系统获得了比已有的基于EEG的系统更好的性能指标。然而,这种交互系统只能为用户提供离散的控制命令,在输出连续的控制命令方面无能为力。本系统是在此基础上进行改进,将EOG算法与EEG算法进行融合,以眨眼EOG信号来输出离散的控制命令,以运动想象EEG信号来输出连续的控制命令。通过这种方式,可以有效地提升现有的BCI-VR系统交互的功能与性能。此外,在本研究中,我们搭建了一个多通道大屏幕沉浸式BCI-VR平台,在此平台上,根据上述的交互方法,以室外轮椅控制仿真作为测试案例,设计了一种新的脑机接口轮椅控制范式。5名健康受试者参与了2项在线实验。实验结果证明了该BCI-VR系统的有效性与可靠性。

论文目录

摘要

Abstract

第一章绪论

1.1 课题的研究背景和意义

1.2 基于生物电信号的人机交互技术

1.2.1 基于EEG的人机交互技术

1.2.2 基于EOG的人机交互技术

1.2.3 人机交互技术研究中常用的评价标准

1.3 基于生物电信号的虚拟现实交互系统

1.3.1 已有的研究案例

1.3.2 当前面临的主要问题

1.4 本文主要研究内容及章节安排

第二章一种基于立体视觉刺激的三维P300字符拼写系统

2.1 引言

2.2 方法

2.2.1 信号采集

2.2.2 系统范式

2.2.3 数据处理

2.2.4 信息传输率评估

2.2.5 工作负荷评估

2.3 实验与结果

2.3.1 离线实验

2.3.2 在线实验

2.3.3 工作负荷

2.4 讨论

2.5 本章小结

第三章面向意识障碍病人视觉惊吓评估的三维脑机接口系统

3.1 引言

3.2 方法

3.2.1 受试者

3.2.2 信号采集

3.2.3 实验设计

3.2.4 数据分析

3.3 实验结果

3.3.1 正常受试者的实验结果

3.3.2 意识障碍患者的实验结果

3.4 讨论

3.5 本章小结

第四章一种基于EOG的移动便携式虚拟现实交互系统:室内环境控制仿真

4.1 引言

4.2 系统结构

4.3 方法

4.3.1 信号采集

4.3.2 图形用户界面（GUI）与控制机制

4.3.3 检测算法

4.3.4 校准

4.4 实验和结果

4.4.1 实验Ⅰ:室内环境控制

4.4.2 实验Ⅱ:空闲状态保持

4.4.3 工作负荷

4.5 讨论

4.6 本章小结

第五章一种基于混合脑机接口的虚拟现实交互系统:室外轮椅控制仿真

5.1 引言

5.2 系统结构

5.3 方法

5.3.1 信号采集

5.3.2 图形用户界面（GUI）与控制机制

5.3.3 检测算法

5.3.4 校准

5.4 实验和结果

5.4.1 实验Ⅰ:HCI命令发送

5.4.2 实验Ⅱ:室外轮椅控制

5.4.3 工作负荷

5.5 讨论

5.6 本章小结

第六章总结与展望

6.1 总结

6.2 展望

参考文献

攻读博士学位期间取得的研究成果

致谢

附件

文章来源

类型: 博士论文

作者: 瞿军

导师: 李远清

关键词: 脑电,眼电,脑机接口,人机交互,虚拟现实

来源: 华南理工大学

年度: 2019

分类: 基础科学,医药卫生科技,信息科技

专业: 生物学,生物医学工程,电信技术,计算机软件及计算机应用,自动化技术

单位: 华南理工大学

分类号: R318;TP11;TN911.7;TP391.9

DOI: 10.27151/d.cnki.ghnlu.2019.000106

总页数: 117

文件大小: 11448K

下载量: 760

基于生物电信号的人机交互技术及其在虚拟现实中的应用研究

论文摘要

论文目录

文章来源

相关论文文献

猜你喜欢