《表1 多层特征增强孪生网络参数》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于多层特征增强的实时视觉跟踪》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

本文方法不同于之前的孪生网络只有两支输入分支：模板分支Z和搜索分支X，如图1所示，MFESiam增加了两个输入分支：噪声模板分支Znoise和噪声搜索分支Xnoise。首先，本文的噪声模板分支和噪声搜索分支是通过整个训练数据集在输入若干个模板和搜索匹配对时以5%的概率随机选取一个匹配对；然后，在这个匹配对中随机合成5%的像素值为0的噪声点和95%的像素值为255的噪声点；最后，将经过数据增强的两个分支：Znoise和Xnoise分别作为孪生网络另外两个并行的输入分支，通过第一个卷积层和第一个最大池化层提取特征后分别与原始模板分支和搜索分支相融合，来模拟一些对目标跟踪具有挑战性的因素。将噪声模板分支和噪声搜索分支在第一个最大池化层之后融合是因为在最大池化层之后，特征图通常会在一定程度上失去一些位置信息，所以在第一个最大池化层之后加入一些合成的椒盐噪声来增强算法的鲁棒性，并且最大池化层由于对局部形变的不变性，所以它对局部的变化是具有鲁棒性的。因此，融合后的浅层特征已经被增强，并且当目标在经历一些复杂场景挑战例如快速运动、遮挡以及相似物干扰等时不会轻易丢失目标。从图2可视化的2D和3D特征中可以看出，在未采用本文数据增强方式下的热力图中会出现因相似语义信息干扰而导致跟踪发生漂移的情况，而在经过了数据增强后的融合特征则在一定程度上抑制了因为相似物体干扰而漂移的情况，使得跟踪器能更为鲁棒地对特定目标进行跟踪。此外，本文还对无填充的全卷积Alex Net网络进行了改进，具体参数如表1，将原始的大尺寸卷积换成了多个小尺寸卷积，并且增加网络层的维度，这样加大网络的深度和维度来学习到更为鲁棒的特征表示。