《表5 词向量聚类结果:一种半监督学习的代码自动生成性能评估方法》
利用代码词库对Java代码进行分词后,使用Skip-Gram模型训练代码词向量,并在Python3.7环境中使用Gensim提供的Word2Vec模块对分词后的代码语料进行词向量的训练.正如前文所述,AST中的相似节点应该具有相似的表示,为了评估训练的词向量是否达到这个标准,通过K-Means聚类来评估我们训练的词向量.实验中我们将聚类个数设置为48,截取了3个类别中的部分token,结果如表5所示.在类别1中几乎所有符号都与String类型相关,类别2中大多数符号都与循环控制有关,类别3中主要是List的子类或相关方法.这个结果证实了我们的训练是有效的,相似的符号具有相似的向量表示.
图表编号 | XD00213661600 严禁用于非法目的 |
---|---|
绘制时间 | 2021.03.01 |
作者 | 张晓江、姜瑛 |
绘制单位 | 昆明理工大学云南计算机技术应用重点实验室、昆明理工大学信息工程与自动化学院 |
更多格式 | 高清、无水印(增值服务) |