《表3 Robo Cup3D步行速度对比》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于深度Q网络的仿人机器人步态优化》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

图4代表的是DQN训练中评价函数值Reward的变化曲线图，由图可知Reward的值在将近1000步的训练后趋于一个稳定值，即NAO机器人最终稳定的质心速度。图5展示了在RoboCup3D仿真环境下NAO机器人的步行图。图5上半部分为主视图，中间部分为左视图，从图中可以看出训练后机器人步态非常稳定，没有出现摔倒的情况。而图5下半部分是经过手动调试的步态，身体晃动幅度较大、不稳定。经过多次测试求平均值，经过深度Q网络训练后的仿人机器人的直线步行速度可以达到0.74 m/s，在此速度下各参数值如表2所示。而在其他约束条件不变的情况下，运用标准的粒子群算法对上述参数进行优化，仿人机器人的直线速度只有0.65 m/s[17]。由于粒子群算法在多维参数情况下，很容易过早收敛，形成局部最优，从而验证了本文所提算法的有效性。本文还对2018RoboCup3D中国赛中前八的队伍进行了步行速度测试，如表3所示。从表中可知，经过深度Q网络优化的双足机器人步行速度处于第一集团，具有相当的竞争力。