《表4 算法参数表：基于深度学习的词汇表示模型对比研究》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于深度学习的词汇表示模型对比研究》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

在基础实验中，将传统深度表示模型（Word2Vec、GloVe、FastText）和最新预训练模型（ELMo、BERT、XLNet）进行对比实验，比较不同词汇表示学习模型在多个文本分类任务上的具体表现；并探究传统深度表示模型分别利用TextCNN和Transformer在具体任务上进行特征抽取的效果。在参数设置过程中，尽可能保持6种模型在参数设置上的一致性；在由于模型结构差异导致无法取得一致的情况下，取参数的最优设置。传统深度表示模型Word2Vec、GloVe、FastText采用的词向量维度为100，词向量训练方式均使用最优的预训练词向量（更新）的方式，Word2Vec和FastText的训练方法均使用CBOW模型；最新的预训练模型中，BERT的多头注意力机制头数使用标准的12头，且加入位置嵌入信息，除此之外，所有模型的其余参数设置如表4所示。