《表2 25万训练集中文章长度分布统计》

《表2 25万训练集中文章长度分布统计》   提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《机器阅读理解中观点型问题的求解策略研究》


  1. 获取 高清版本忘记账户?点击这里登录
  1. 下载图表忘记账户?点击这里登录

本文词向量采用Word2Vec进行预训练,维度d=300。对于未登录词,采用零向量表示。根据表2统计,文章中几乎99.8%的数据长度都未超度500,同时为了考虑数据输入的稀疏度问题,最终将文章长度m设置成500。通过统计,问题长度小于30的有249 999,因此问题长度n设置为30。Bi-GRU隐含层的维度设置为150。训练过程中,模型采用Adamax[21]作为优化器,学习率设置为0.1。误差采用批处理,batch-size设置为30。为避免过拟合,dropout设置为0.2。推理层数设置为4。共训练10轮(epoch),每一轮之后在验证集上测试性能,最终选择在验证集上效果最好的作为模型。