《表5 基于TwoParam特征融合的MHA模型在数据集上的Dropout实验结果》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于注意力机制的特征融合序列标注模型》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

多头注意力机制在多个子空间内进行注意力分布的计算，将结果进行拼接和线性映射，可能存在信息冗余的问题，所以考虑在每个词的5个注意力分布向量上进行Dropout实验，设定Dropout为0.2，即随机地丢弃关注到的一些重复或者错误的信息，结果如表5所示，除了Chunking数据外，模型在其他数据集上的效果都得到了进一步提升，表明Dropout具有正面的作用。