《表5 深层迁移学习应用汇总表》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《结合深度学习和半监督学习的遥感影像分类进展》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

针对第2种解决思路，结合GAN与域适应的论文展现了基于结构的迁移方法的有效性。除此之外，Li等人[62]通过调整网络结构中的BatchNormal实现对抗，首先在源域中训练一个带BatchNormal的DNN结构，对每个隐含层统计神经元的反馈信息，通过一种在线学习的更新机制，将神经元响应更新到针对目标域特征的概率空间，这样做的好处在于保证了每一层接收的上层数据来自于相似的分布空间，简化了域迁移的问题，而且在保证了迁移效果的同时，从计算角度上避开了大量的运算开支。王立伟等人[63]将在Image Net数据集中预训练后的深层残差网络泛化到高光谱分类任务中，把其作为特征提取器，针对高光谱数据集中因为有标签样本不足造成的深度卷积网络过拟合的问题，提出基于模型的迁移学习策略，结合网络预训练的底层卷积核参数，再通过目标数据集微调网络高层卷积核参数，使模型在使用少量有标签样本的情况下取得了更好的分类效果。Sumbul等人[64]将zero-shot引入遥感影像分类中，zero-shot主旨是利用源域学习到的知识，建立新类别的识别系统，即源域和目标域的类别信息无交叉。这种迁移的过程需要引入新的辅助信息，属性描述信息。先结合自标注、Word2Vector和层次化科学分类方法构建了语义描述向量，将其作为树木精细分类的zero-shot转移信息源，使用双线性函数对深度网络提取的可视化特征和构建的语义描述向量进行建模，最后将学习到的兼容性函数利用新类别的输入类向量判定类别所属，结果的精度比随机猜测提升1倍以上。Zhou等人[65]使用深度特征对齐网络解决高光谱遥感影像的域适应问题，使用双CRNN结构（FANN）同时提取源域与目标域光谱特征与特征上下文关系，并使用带有“域匹配”与“类分离”功能的域适应标准将网络层对应并进行共同隐式空间映射。不仅在相同传感器不同时间的数据上进行迁移实验，还设计了非常具有挑战性的迁移实验，将地表捕获的与航空捕获的不同视角的高光谱遥感数据进行迁移实验。结果验证了特征提取和迁移结构的有效性。岳学军等人[66]采用深度迁移结构对柑橘树4个不同物候期的高光谱数据进行自适应特征提取和降维，迁移和融合多种特征，并建立了精度较高的柑橘叶片钾素含量估测模型。除了这些目标域无监督的迁移学习策略，结合主动学习的迁移策略也取得了不错的效果，Deng等人[67]对源域中训练结合空谱特征提取的分层堆叠稀疏自编码，然后使用目标域样本进行少量微调。结合主动学习策略选择信息量最大的目标域样本进行标记并训练网络，结果发现，在不同场景相同传感器的高光谱影像迁移训练任务中，基于主动学习选择性标记的方法精度提升较大。Deng等人[68]还尝试了多核表示的结合主动学习的迁移过程。李海雷等人[69]为了解决SAR数据不足、无法训练深度网络模型的问题，提出了基于中层表达的迁移学习模型。利用改进的深度残差神经网络作为特征提取器，在特征提取器后添加自适应网络并使用Sentinel-1数据集对模型进行微调。与上两种方式不同，Liu等人[70]将主动学习策略用在了训练开始的样本挑选中，使用代表性与信息量大小两个评价策略进行选择，然后结合双域自编码层间的CCA构架了Deep Mapping的框架，最后微调网络得到源域与目标域共同特征空间。该工作可以解决异构高光谱传感器的迁移问题。除了使用深度模型之外，一些浅层结构也取得了不错的效果。Luo等人[71]应用了流型空间的正则化约束进行无监督的域适应，结果在多光谱和高光谱遥感影像上效果显著。Peng等人[72]使用了判别式联合迁移匹配技术，将源域与目标域的特征映射到KPCA空间，并进行经验最小化MMD，引入L2范数进行实例重加权，剔除与目标任务无关的源域数据，同时将半监督TCA引入流型约束中保留双域的局部特征，训练结束后双域被映射到对齐的子空间中进行分类，实验使用了同一高光谱遥感场景中不同区域作为迁移学习测试，相比SSTCA等算法性能优越。其中重加权剔除数据的过程可以看作是基于实例的迁移学习，基于实例的迁移案例还有[73-74]。表5列举了深层迁移学习的一些应用。