《表1 部分文本预处理后结果》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于规则和N-Gram算法的新词识别研究》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

对所有微博文本进行预处理:微博数据用ICT-CLAS2016分词系统分词后，结合哈尔滨工业大学和百度停用词库，去除停用词，如“不管”“了”“吗”等后，把留下的词语保存到词语分词表中的同时进行词频统计，为提取候选新词做准备。文本预处理后保存，对前三个微博文本处理结果如表1所示（加位置编号）。