《表1 超参数设置：多任务神经网络药物不良反应检测算法》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《多任务神经网络药物不良反应检测算法》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

基于多任务深度神经网络模型的药物不良反应检测算法使用BERT词向量，选择版本为BERT-Base，Cased，该版本的词向量由Google发布的预训练语言模型BERT-Base训练得到，模型为一套12层的Transformer模块，使用768维的中间隐层表示以及12头的多头自注意力机制拼接得到最终的词向量，其模型共计110 M参数。字符级别表示随机初始化为50维，与单词级别的表示拼接后映射至300维输入Transformer模块。梯度优化算法采用Ada Grad，学习率为10-3，λ参数为10-8。具体具体参数设置见表1。