《表7 多头注意力机制头数对分类结果的影响》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于深度学习的词汇表示模型对比研究》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

本实验主要探究最新预训练模型在训练中改变多头注意力机制头数对词汇表示学习模型的影响。考虑到数据集中多数为情感分类数据集，因此选择其中具有代表性的CR数据集进行实验探究。以BERT模型为例，在不同多头注意力机制头数下分别进行CR数据集上的文本分类实验，其中头数12为标准的BERT模型所使用的参数，具体实验结果如表7和图8所示。