《表1 预训练语言模型对比》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于预训练模型的机器阅读理解研究综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

常见的预训练语言模型结构如图2所示[11]，有编码输入层、网络结构层、编码输出层。预训练语言模型的区别主要体现在网络结构层以及预训练时对语言建模的任务。如ELMO使用双向LSTM结构，BERT、GPT使用Transformer[20]结构。与LSTM相比，Transformer中引入self-attention结构与多头注意力机制，可以捕获更多的文本信息，同时Transformer可以做到并行化计算以及设计更深的神经网络。本文将近年来出现的预训练语言模型根据建模方式、模型结构、模型介绍等进行整理，如表1所示。