《表6 细粒度类别性能对比》
为了进一步观测引入带权学习损失函数的“recurrent+transformer”架构对类别不均衡数据的拟合能力,表6详细展示了单类别细粒度性能表现,结合表1与表2对两项数据集类别分布的统计情况,可以直观发现:BLSTM-nMCatt-Wgt对于小类别样本的分类能力相较于基线模型有显著提升,例如TrWP、TrIP、TrNAP以及Int,其中在TrNAP类上实现23.55%的最大提升.对于多数类样本(TeRP、TrAP、Advice),模型同样实现较为可观的性能提升.在中等规模类别PIP上的验证结果弱于基线模型BLSTM-Att,其原因在于,该类关系所包含的两项实体为同类,相较于其他类型样本,多通道自注意力机制将因此代入较多冗余信息,从而影响模型在该类别的拟合能力.此外,实验过程中发现,PIP类的F1指标随训练轮数的增加先升后降,同样验证了因冗余信息而导致的模型过拟合现象.
图表编号 | XD00163170400 严禁用于非法目的 |
---|---|
绘制时间 | 2020.05.01 |
作者 | 宁尚明、滕飞、李天瑞 |
绘制单位 | 西南交通大学信息科学与技术学院、西南交通大学信息科学与技术学院、西南交通大学人工智能研究院、西南交通大学信息科学与技术学院、西南交通大学人工智能研究院 |
更多格式 | 高清、无水印(增值服务) |