《表1 BERT模型优化改进路线总结》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《BERT模型的主要优化改进方法研究综述》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

（注：表格中‘√’表示该模型使用了对应的改进方式，‘-’仅用于优化NSP目标一栏，空白表示舍弃NSP目标。）

本文针对以上4种BERT模型优化改进的路线，按照模型发布时间排序，进行了归纳总结，如表1所示。从时间上看，大致可以分为三个阶段。第一阶段（2019.01-2019.08），由于预训练目标是BERT模型最直接的学习方式，更多的研究者考虑在预训练目标上针对BERT进行模型优化，同时也有部分研究者针对Transformer的结构进行了深入研究。第二阶段（2019.09-2019.10），研究者开始关注到模型的体积过大、利用效率低下的问题，开始研究模型压缩的方法。第三阶段（2019.11-2020.03），大量研究者针对BERT模型融合外部知识开展了研究。经过总结分析，对于预训练目标的优化改进是最常见同时也是效果最好的改造方式，如百度发布的ERNIE模型和ERNIE2.0模型，主要通过改造MLM和NSP两个预训练目标，在中文的各种下游任务上的表现全面超越了BERT模型。ELECTRA模型也是针对MLM预训练目标进行了拓展，在提高了模型计算效率的同时，效果也全面超越了BERT、Ro BERTa和XLNet等模型。