《表3 词干提取引起的特征空间维数的减少》
尽管Unicode是默认的编码方案,但不同的操作系统和组织仍在使用不同的编码.因此,我们建立一个代码映射表,将语料库中的文本集从各种不同的编码形式转换成统一的拉丁文字母编码形式,然后用词干提取工具从所有的文本中提取词干,以构建词干序列文本语料库.基于统计模型的哈萨克文本词干提取方法可以有效地减少文本特征空间的维数,其中,除掉停用词后(停用词数为1085),词干词汇的数量明显地下降到词词汇数量的30%左右,如表3所示.
图表编号 | XD00157802200 严禁用于非法目的 |
---|---|
绘制时间 | 2020.08.01 |
作者 | 沙尔旦尔·帕尔哈提、米吉提·阿不里米提、艾斯卡尔·艾木都拉 |
绘制单位 | 新疆大学信息科学与工程学院、新疆大学信息科学与工程学院、新疆大学信息科学与工程学院 |
更多格式 | 高清、无水印(增值服务) |