《表1 SNN算法在不同数据集上的表现》
应当指出的是,现有的直接训练算法在深层结构上的应用仍有待探索,与转换SNN或者ANN的发展现状之间依然存在一定的差距.这一方面是因为当前编程框架下SNN额外的时间维度将造成数倍于同规模ANN的训练显存需要,并且由于阈值激发特性与脉冲的稀疏性,当SNN趋于深层时可以预见的是仿真周期的延长,这将进一步提升对显存的需求;另一方面,深层网络训练的难点(例如梯度消失)在SNN结构中同样存在,而部分利于深度神经网络训练的技巧在SNN上进行简单移植时将破坏其保有的优势特征(例如批归一化手段可能造成SNN通信的脉冲形式无法得到保证).这两点造成了深度训练算法的缺失,使得SNN无法在大规模数据集上获得足够令人信服的证据表现.因此未来一段时间内,高效深层SNN训练算法仍将是一块能够真正叩开深度学习社区大门的敲门砖.表1对SNN算法在不同数据集上的表现进行了总结.
图表编号 | XD00201054600 严禁用于非法目的 |
---|---|
绘制时间 | 2021.01.01 |
作者 | 胡一凡、李国齐、吴郁杰、邓磊 |
绘制单位 | 清华大学类脑计算研究中心、清华大学类脑计算研究中心、清华大学类脑计算研究中心、加州大学圣塔芭芭拉分校电子与计算机工程系 |
更多格式 | 高清、无水印(增值服务) |