《表1 3种方法在2-grams特征时的稀疏数据量及所占比例》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于多尺度的n-grams特征选择加权及匹配算法》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

在美国当代英语语料库中，分别对比引言中的3种方法和本文方法在2-、3-、4-及5-grams特征时产生的稀疏数据数量和占比，见表1～表4。从表1～表4中可以明显看出，当特征为2-grams且特征数量不超过2 000时，引言中的2种方法稀疏数据并不严重，占比不超过20%，当特征数量达到3 000时，稀疏数据逐渐增加，分别达到32.7%和28.4%。而本文方法在稀疏数据的抑制上效果较好，在2-grams特征数量达到3 000时，占比仅为11.9%。当n-grams特征中n值分别为3时，逆文本频率法在特征数为200时，稀疏数据的占比就达到了20%以上，重构法在特征数为500时稀疏数据占比超过20%，而当特征数量达到3 000时，2种引言方法的稀疏数据占比接近50%，已经不适合作为分类特征。相比而言，本文方法在特征数达到3 000时，稀疏数据占比仍然保持在20%以下。当n值达到4和5时，引言方法在特征数量超过1 000后都产生了占比接近于50%的稀疏数据，无法作为分类特征进行分类建模。而本文方法在特征数达到3 000的情况下，4-grams和5-grams时的稀疏数据占比分别为23.3%和29.4%，远低于引言方法。