《表1 两种裁剪方式的连接比例Tab.1 Connection ratio of two cropping methods》

《表1 两种裁剪方式的连接比例Tab.1 Connection ratio of two cropping methods》   提示:宽带有限、当前游客访问压缩模式
本系列图表出处文件名:随高清版一同展现
《面向语言模型的神经元连接自动学习方法》


  1. 获取 高清版本忘记账户?点击这里登录
  1. 下载图表忘记账户?点击这里登录
注:表中的连接比例为语言模型迭代达到最小困惑度时的连接比例,下同.

与先生长后裁剪的方法相比,边生长边裁剪得到的网络性能和规模的效果更好.从表1可以看出,无论是隐藏层还是输出层,在生长过程中增加剪枝的过程会使网络中的连接数变得更少.这是由于边生长边裁剪中剪枝操作的时序提前,使剪枝后的网络结构能够得到更充分的训练,可以在不影响性能的情况下进一步缩小网络的最终结构.当隐藏层节点数为128时,采用边生长边裁剪方式得到的网络规模可缩小49%.