基于AM-RPPO的双足机器人适应性行走控制算法

论文摘要

提出了一种带有注意力机制和循环近端策略优化（AM-RPPO）的深度强化学习（DRL）方法并将其应用于双足机器人的适应性行走控制.首先,对未知环境下双足机器人关节空间行走控制问题依照部分可观测马尔可夫决策过程（POMDP）进行建模,指出了DRL算法近端策略优化（PPO）对真实状态的估计存在偏差的问题.其次,引入循环神经网络（RNN）架构,分析了RNN对时序环境观测状态不同于多层感知机的正向传播过程,说明了RNN相对于传统神经网络的优势,并且将RNN分别嵌入动作生成网络和价值函数生成网络中.再次,引入在深度学习诸多领域应用广泛的注意力机制（AM）,利用AM建立基于不同时间步的状态,求得最终价值函数的权重差异化模型.最后,通过仿真实验验证了提出的AM-RPPO算法对存在高维状态信息输入的双足机器人控制问题的有效性.

论文目录

文章来源

类型: 期刊论文

作者: 马璐,刘成菊,林立民,徐斌辰,陈启军

关键词: 深度强化学习,循环神经网络,注意力机制,自适应双足行走

来源: 机器人 2019年06期

年度: 2019

分类: 信息科技,工程科技Ⅱ辑

专业: 自动化技术

单位: 同济大学电子与信息工程学院

基金: 国家自然科学基金(61573260,61673300),上海市“科技创新行动计划”基础研究领域项目(16JC1401200,17511108602,18DZ1200804),江苏省自然科学基金(BK20171250)

分类号: TP242

DOI: 10.13973/j.cnki.robot.180785

页码: 731-741

总页数: 11

文件大小: 1574K

下载量: 291

相关论文文献

• [1].双足机器人步态控制研究方法综述[J]. 科技经济导刊 2019(12)
• [2].变长度弹性伸缩腿双足机器人动力学与控制[J]. 力学季刊 2019(02)
• [3].双足机器人小腿减震系统的设计与应用[J]. 淮海工学院学报(自然科学版) 2019(03)
• [4].小型双足机器人平台[J]. 科学技术创新 2018(03)
• [5].被动动力式双足机器人仿生腿的设计与运动仿真研究[J]. 科技通报 2018(04)
• [6].阿凡达成真 韩国研发全球首个载人双足机器人[J]. 华东科技 2017(01)
• [7].一种新的双足机器人模型设计与相关研究[J]. 计算机测量与控制 2017(02)
• [8].智能双足机器人舞蹈动作控制及稳定性研究[J]. 电脑知识与技术 2016(28)
• [9].双足机器人稳定性判据研究[J]. 通讯世界 2017(10)
• [10].3D打印机器人设计[J]. 林业机械与木工设备 2017(10)
• [11].仿生直立双足机器人的稳定性控制算法[J]. 机械与电子 2016(02)
• [12].动态双足机器人的控制与优化研究进展[J]. 自动化学报 2016(08)
• [13].仿生双足机器人步态规划研究现状及展望[J]. 机电信息 2016(27)
• [14].疯狂机器人[J]. 发明与创新(中学生) 2017(Z1)
• [15].基于3D打印技术的双足机器人创新实验平台[J]. 报刊荟萃 2017(06)
• [16].基于再励学习的被动动态步行机器人[J]. 清华大学学报(自然科学版)网络.预览 2008(01)
• [17].伸缩腿双足机器人半被动行走控制研究[J]. 动力学与控制学报 2019(01)
• [18].基于脉冲推力的半被动双足机器人无模型神经网络控制[J]. 计算机应用研究 2018(01)
• [19].高自由度双足机器人数学模型及步行控制研究[J]. 文化创新比较研究 2018(19)
• [20].人体步行捕捉下的双足机器人跟随步行与实验[J]. 哈尔滨工业大学学报 2017(01)
• [21].仿生直立双足机器人机械控制[J]. 黑龙江科技信息 2016(04)
• [22].交叉足印双足机器人的设计与实现[J]. 仪表技术 2016(02)
• [23].双足机器人腿部的设计[J]. 电子世界 2014(10)
• [24].双足机器人动态步行仿人智能控制[J]. 重庆大学学报 2013(02)
• [25].关于双足机器人步态规划方法的研究[J]. 漳州师范学院学报(自然科学版) 2011(04)
• [26].基于连杆机构的双足机器人起立方法分析[J]. 微计算机信息 2009(20)
• [27].动态双足机器人建模及步态优化设计[J]. 自动化仪表 2019(11)
• [28].双足机器人平地行走步态规划的研究[J]. 机械设计与制造 2019(04)
• [29].基于双足机器人的目标追踪方法设计与实现[J]. 数字技术与应用 2019(04)
• [30].一种基于神经网络的双足机器人混合动力学系统辨识方法[J]. 中国机械工程 2018(14)

标签：深度强化学习论文;  循环神经网络论文;  注意力机制论文;  自适应双足行走论文;