假如有人朝你扔过来一个球,一般你会怎么办?——当然是立刻把它接住。
这样的一个问题是不是很简单?但实际上,这一进程是最杂乱的处理进程之一:首要,在杂乱的布景环境下,球进入人的视界,被视网膜捕捉到后,经视觉通路发送到大脑处理视觉信息的脑区,进行愈加完全的图画剖析。一起视皮层与其他脑区协作,判别物体的品种,猜测它的跋涉轨道,终究经过传出神经操控肌肉的运动,决定人的下一步举动:举起双手、接住球。上述进程只在零点几秒内发作,简直完全是下意识的行为,也很少会出过失。
为了让核算机仿照这一进程,首要需要让核算机做到像人类那样“看”,尤其是在喧闹布景下像人类那样快速精确地“看”,成为近年来视觉感知这一研讨范畴备受重视的关键问题之一。
近年来,依据梯度反向传达的脉冲神经网络(SNN)练习方法逐步鼓起。在这种练习方法下,SNN可以在保存神经元内部动力学的一起获得较好的功用。
在此基础上,中国科学院自动化研讨所听觉模型与认知核算团队仿照描写视听觉体系神经元侧向效果的数学模型动态神经场,提出了具有侧向效果的SNN——LISNN,用于图画识别使命。并且在测验中,依据侧向效果的动力学特色,人为参加噪声以验证侧向效果对网络鲁棒性的提高。
在生物神经体系的感触器中存在着接近神经元间的彼此按捺和彼此鼓励。其间,侧向按捺开始为解说马赫带效应而提出,即人们在明暗改变鸿沟上常常会在亮处看到一条更亮的光带而在暗区看到一条更暗的线条(见图1)。这种侧向效果后来在鲎、猫等多种动物的不同感觉体系中被证明并应用在仿生的核算模型中。
LISNN的结构如图2所示,前端是两层具有卷积感触野的脉冲神经元层,每层后边有一层均匀池化层,后端是两层全衔接的脉冲神经元层。具有卷积感触野的脉冲神经元在模型中承当特征提取的功用,类似于感触器的效果,因而只在这层结构中运用侧向效果。在侧向效果机制下,每个脉冲神经元的膜电位都额定受邻域内的其他神经元上一时间状况的影响。在现在已有的运用侧向效果的核算模型中,侧向效果系数往往是固定的和神经元间间隔相关的函数,而LISNN中的侧向效果系数则可以终究靠反向传达进行学习。
该研讨工作别离在静态数据集MNIST与Fashion MNIST、动态数据集N-MNIST上对LISNN的功用进行了验证。输入数据以特定方法编码为必定长度的脉冲序列,每个时间的序列规划与原图画(或事情点坐标规模)相同。模型在MNIST和N-MNIST数据集上均获得了和已有最好功用附近的成果;在Fashion-MNIST数据集上则获得了SNN中的最好功用。本模型与已宣布模型的功用比照见图3-5。
除此之外,团队还挑选在MNIST和Fashion MNIST的测验会集参加不同水平的高斯噪声和脉冲噪声,以进一步测验侧向效果对网络鲁棒性的提高。图6展现了部分原始图片和加噪后的图片。
图7中,灰线和蓝线别离代表LISNN和没有侧向效果的SNN在增加了高斯噪声的测验集上的精确率;黄线和橙线别离代表LISNN和没有侧向效果的SNN在增加了脉冲噪声的测验集上的精确率。在大部分情况下,LISNN的功用丢失都小于没有侧向效果的SNN,尤其是在练习会集没有增加噪声数据的情况下。
与传统的神经网络算法比较,所提算法能获得较好的功用并自然地完成对噪声搅扰的抗性,具有必定理论研讨价值和工程实用价值。
图1 马赫带效应暗示(图引wiki)
图2 LISNN模型结构暗示图
图3 静态图画数据集MNIST上,LISNN模型与已宣布模型精确率比照
图4 静态图画数据集Fashion MNIST上,LISNN模型与已宣布模型精确率比照
图5 动态图画数据集N-MNIST上,LISNN模型与已宣布模型精确率比照
图6 (a)三行依次为原始MNIST测验集图片、参加高斯噪声后的图片、参加脉冲噪声后的图片;(b)三行依次为原始Fashion MNIST测验集图片、参加高斯噪声后的图片、参加脉冲噪声后的图片
图7 (a)模型在无噪声的MNIST练习集上练习;(b)模型在无噪声的Fashion MNIST练习集上练习;(c)模型在有高斯噪声的MNIST练习集上练习;(d)模型在有高斯噪声的Fashion MNIST练习集上练习
来历:中国科学院自动化研讨所