《表5 样本量为16 000时BERT-Re-Pretraining-Med-Chi模型的实验结果》
首先使用医学文本预训练语料进行预训练过程,预训练的文本最大长度设置为400,持续200 000个步骤,其余参数保持不变。每次预训练需31个小时完成。再进行微调过程的训练,同样经过参数的调整,设置微调参数如下:批训练大小(train_batch_size)为8;批预测大小(predict_batch_size)为8。样本量为16 000时,实验结果如表5所示。
图表编号 | XD00157148800 严禁用于非法目的 |
---|---|
绘制时间 | 2020.08.25 |
作者 | 赵旸、张智雄、刘欢、丁良萍 |
绘制单位 | 中国科学院文献情报中心、中国科学院大学经济与管理学院图书情报与档案管理系、科技大数据湖北省重点实验室、中国科学院文献情报中心、中国科学院大学经济与管理学院图书情报与档案管理系、科技大数据湖北省重点实验室、中国科学院武汉文献情报中心、中国科学院文献情报中心、中国科学院大学经济与管理学院图书情报与档案管理系、科技大数据湖北省重点实验室、中国科学院文献情报中心、中国科学院大学经济与管理学院图书情报与档案管理系、科技大数据湖北省重点实验室 |
更多格式 | 高清、无水印(增值服务) |