《表1 优化器训练的GCN在训练集损失值和验证集上分类精度值与迭代次数关系》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《不同优化器对GCN模型参数训练的影响》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

验证集精度收敛最快的优化器是LBFGS；验证集精度收敛最慢的优化器是SGD；验证集精度收敛值最低的优化器是ASGD；验证集精度收敛趋势反常的优化器是Rprop；验证集精度振荡幅度最大的优化器是Adadelta；验证集精度值大于0.85的优化器为SGD、RMSprop、Adam、Adamax、Adam+SGD；训练集损失值最低的优化器是LBFGS；训练集损失值最大的优化器是ASGD；训练集损失值低于0.3的优化器为SGD、RMSprop、LBFGS、Adam、Adamax、Adam+SGD；训练集损失值振荡幅度最大的优化器是Rprop。GCN模型训练的目标是降低训练集损失值，提高验证集精度，提高测试集精度，提高训练速度，提高模型泛化能力。因此通过实验从GCN模型训练的目标来考虑比较适合GCN模型参数训练的优化优化器是SGD、RM-Sprop、Adam、Adamax、Adam+SGD、LBFGS。分别将采用SGD、RMSprop、Adam、Adamax、Adam+SGD、LBFGS优化器进行参数训练后的GCN模型作用于Cora数据集进行节点分类验证GCN模型的泛化能力，利用T-SNE降维技术[8]对节点分类结果进行特征可视化。同一类别的节点在特征可视化图中表现出聚合状，T-SNE将数据点之间的相似度抓换为概率，数据如果在低维空间中具有可分性，则数据是可分的，通过将节点特征降维以后，容易得到节点特征之间的关系，采用这几个优化器的GCN模型除了LBFGS以外都可以将Cora数据集的节点进行特征分类，说明LBFGS优化器训练的GCN模型泛化能力差。进一步，将SGD、RMSprop、Adam、Adamax、Adam+SGD优化器训练的GCN模型在训练集上的损失值和在验证集上的精度值随训练步长的变化放在同一个图中进行对比。从图1和图2中可以得出较优的适合GCN模型参数训练的优化器是RMSprop、Adam、Adam+SGD，这三个优化器训练的GCN模型在训练集上的损失值下降较快，验证集精度增加较快。如果对参数训练时长要求不高的情况下，除了SGD优化器收敛较慢以外，Adamax也是可以采用的。