《表2 融合结构特点：多模态深度学习综述》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《多模态深度学习综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

一般的融合分为特征融合和决策融合，特征融合指网络一起提取的表达融合，之后接一个分类层；决策融合指模型组合，融合网络计算的分类得分。在此主要介绍特征融合，特征融合即输入两个模态的特征向量，输出融合后的向量，最常用的方法是拼接、按位乘、按位加。特征融合能有效提高某些算法的准确度，例如，针对单模态行人检测在光照条件较差、目标部分遮挡、目标多尺度时检测效果较差的问题，文献[42]提出了一种基于可见和红外双模态特征金字塔融合的行人检测算法，实验结果表明在KAIST数据集上的检测效果超过了目前该数据集上的最佳模型。从特征融合的结构上分，可分为早期融合、后期融合，后来又有了中间融合[43]。三种融合结构的特点如表2所示。