《表1 CORA、CITESEER、CoauthorCS测试数据集AUC》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《基于混合图卷积网络模型的节点分类方法》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

第二类方法，图神经网络。它以GCN[7]、GAT[8]、fastGCN[9]等模型为代表。它基于神经网络结构，能有效克服节点嵌入方法无法表达具有高维附加属性节点的问题，但是图神经网络的训练是一个难点。因为随着神经网络层数的增加，训练图神经网络不仅需要克服反向传播[10]中梯度消失、大量权重矩阵参数带来的过拟合等神经网络模型固有的问题，还需要克服图结构数据中存在的过渡平滑[11](Over Smoothing）现象。过渡平滑是指应用多个图卷积层（大于2层）后节点特征趋于同一向量，导致几乎无法区分的现象。这种现象最早在GCN模型中被观察到[12]，作用类似于低通滤波器[13]。为了解决图神经网络中的过渡平滑问题，有两种典型方法。第一种，改变网络连接架构。例如：Xu K等人[14]提出跳跃知识网络结构（Jump Knowledge Networks，JKN），利用跳跃连接为每个节点单独选择近邻范围，而不是固定数量的近邻聚合，从而实现了更好的局部结构注意力表征；Gong S等人[15]提出几何原则连接结构（Geometrically Principled Connection，GPC），利用仿射残差连接改善了传统残差连接，进而更加高效地学习到了特定的映射转化矩阵。第二种，利用正则化技术。例如：Rong Y等人[16]提出DropEdge方法对图中的边进行随机Dropout，生成随机子图，类似于随机森林中的Bagging思路，利用多样性实现正则化的目的；Zhao L等人[17]提出PairNorm方法，将节点特征之间的成对距离进行归一化；Zhou K等人[18]提出NodeNorm方法，将节点均值和方差归一化，而这些归一化技术通过阻止隐藏层节点之间或者节点特征之间的相关性学习降低了模型的平滑系数，防止了过度平滑。虽然上述的诸多方法通过各种方法和技巧使得训练深层的图神经网络得以实现，缓解了过度平滑问题，但是通常并不能带来性能的显著提升，反而会使模型复杂，降低实际的预测速度。表1来源于参考文献[18]的表10～表12，每一类有15个标签数据。可以看出，随着深度的增加，GCN-res（基线）的性能急剧下降，PairNorm和NodeNorm表现一直良好。但是，深度的增加并没有带来模型性能的显著提升，甚至可能带来性能下降风险。例如：64层NodeNorm在CITESEER测试数据集精度为67.49%，逊于2层的GCN-res的68.68%。