《表4 10种行为在不同方法上分别的识别率》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于RGB-D与深度学习的行为识别算法》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

UTKinect数据集由Kinect V1采集，由10个人分别演示两遍。数据集包括彩色图的图片序列，深度值的html文件及包含关节点位置信息的txt文件。本文利用Kinect V2获取的RGB-D数据做训练，UTKinect数据集做测试，实验结果见表3。与文献[8]只利用骨骼图，提取骨骼图位置，将动作分解成一系列原子进行分类对比，本文将骨骼与彩色信息融合结合深度学习进行分类。与文献[9]在深度图上提取运动图结合CNN进行分类对比，本文不仅采用了深度学习的方法而且利用了深度图的结构信息与彩色图的形状纹理信息互补。与文献[10]在深度图提取光流与法向量，然后将其级联到彩色图中的光流和法向量方法对比，本文不仅融合了彩色图中不具备的空间结构信息。并将深度学习框架的注意力全放在ROI区域，防止无关信息的干扰提高识别速度与精度。实验结果表明，我们的方法识别率为94.7%，比文献[8]、文献[9]和文献[10]方法分别高了3.20%，3.79%与1.2%。与文献[8]、文献[9]对比表明，利用深度图的3D空间结构与彩色图的形状纹理信息进行RGB-D信息融合比仅仅使用RGB-D信息的一种模式能显著的提高识别率。与文献[10]对比表明，在都基于RGB-D融合信息融合的情况下，基于ROI感兴趣区域的深度学习方法将识别的重心放在动作发生区域，能有效提高识别率。10种行为在不同方法上分别的识别率见表4。可以看出本文在走路、投掷、捡起、挥手、携带、拍手行为上的识别率达到了100%。但在推、拉、起立、坐下行为上的识别率比其它方法略有不足。原因在于本文仅仅利用了空间结构和颜色纹理信息，没有利用时间信息，所以相邻帧的相似动作的识别率不高。此外，在RGB-D融合方面，不仅可以通过深度图定位ROI区域，还可以将深度图的其它特征如光流、局部描述符特征与彩色图像融合，使融合后的图片具有更加丰富的RGB-D信息。