《表1 两种裁剪方式的连接比例Tab.1 Connection ratio of two cropping methods》
注:表中的连接比例为语言模型迭代达到最小困惑度时的连接比例,下同.
与先生长后裁剪的方法相比,边生长边裁剪得到的网络性能和规模的效果更好.从表1可以看出,无论是隐藏层还是输出层,在生长过程中增加剪枝的过程会使网络中的连接数变得更少.这是由于边生长边裁剪中剪枝操作的时序提前,使剪枝后的网络结构能够得到更充分的训练,可以在不影响性能的情况下进一步缩小网络的最终结构.当隐藏层节点数为128时,采用边生长边裁剪方式得到的网络规模可缩小49%.
图表编号 | XD0044622800 严禁用于非法目的 |
---|---|
绘制时间 | 2019.03.28 |
作者 | 姜雨帆、李北、林野、李垠桥、肖桐、朱靖波 |
绘制单位 | 东北大学计算机科学与工程学院自然语言处理实验室、东北大学计算机科学与工程学院自然语言处理实验室、东北大学计算机科学与工程学院自然语言处理实验室、东北大学计算机科学与工程学院自然语言处理实验室、东北大学计算机科学与工程学院自然语言处理实验室、东北大学计算机科学与工程学院自然语言处理实验室 |
更多格式 | 高清、无水印(增值服务) |