《表1 Snips和ATIS的测试性能》

《表1 Snips和ATIS的测试性能》   提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《基于语境感知和迁移学习的口语理解方法》


  1. 获取 高清版本忘记账户?点击这里登录
  1. 下载图表忘记账户?点击这里登录

表1显示了SLU在Snips和ATIS数据集中的SF,F1,IC准确度和句子级语义框架准确度。第一组模型被视为baseline,由最先进的联合IC和SF模型组成:基于序列的Bi LSTM联合模型[13]、基于注意力的模型[14]、slot-gated模型[15]和基于胶囊神经网络的模型[16]。表1中的第二组模型包括建议的CLT模型。在两个数据集上,带有BERT预训练的CLT显著优于基线。与ATIS相比,Snips包含多个域,词汇量更大。对于更复杂的Snips数据集,使用BERT预训练的CLT达到了98.1%,槽的F1值为96.2%,句子准确率为91.7%。在ATIS上,CLT的意图准确率为97.2%,槽的F1为95.7%,句子准确率从83.2%提高到87.7%。接着对Snips的进行ablation分析,当分别微调IC和SF的BERT预训练模型时,意向精确度下降到97.6%下降到96.1%。这些结果表明,CLT中的多任务模型提高了两个任务的性能。比较了不同微调时期的CLT模型。仅使用1个迭代次数进行微调的CLT模型已经优于表1中的baseline。