《表1 PPO算法伪代码：基于深度强化学习的单目视觉自动驾驶决策系统》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于深度强化学习的单目视觉自动驾驶决策系统》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

选择该网络作为参考的原因如下：（1)PPO是目前最先进的深度强化学习网络，在游戏领域中的突破非常大，且PPO在连续性动作空间中的表现更是优异。（2)PPO算法整体来说相对稳定，尤其是在仿真实验中的表现更为突出，并且采用Actor-Critic网络架构[5]，其最重要的优势在于：策略（policy）网络可以使用监督学习的方式进行初始化学习；在环境比较复杂时，学习值（value）函数非常困难，把策略函数和值函数分开学习可以降低策略函数学习的难度。其PPO算法的伪代码如表1所示。