Artificial intelligence 脉冲(尖峰)神经网络是否优于递归神经网络?

Artificial intelligence 脉冲(尖峰)神经网络是否优于递归神经网络?,artificial-intelligence,machine-learning,neural-network,Artificial Intelligence,Machine Learning,Neural Network,脉冲神经网络和递归神经网络都能对时变信息进行建模。但我不确定哪种模型相对于计算成本更好。使用更复杂的pusled神经网络是否值得,或者使用递归神经网络是否也能在需要更少计算的情况下正常工作?脉冲网络收敛更快吗 谢谢我认为你没有正确看待这个问题。神经网络(或任何预测模型)最重要的特性是它的准确性。如果模型更准确(更具预测性),我宁愿花10倍的时间构建模型 有许多标准技术可用于评估模型的预测能力,例如 *省略一个交叉验证 *省略许多交叉验证 *费希尔随机化(http://en.wikipedia.o

脉冲神经网络和递归神经网络都能对时变信息进行建模。但我不确定哪种模型相对于计算成本更好。使用更复杂的pusled神经网络是否值得,或者使用递归神经网络是否也能在需要更少计算的情况下正常工作?脉冲网络收敛更快吗


谢谢

我认为你没有正确看待这个问题。神经网络(或任何预测模型)最重要的特性是它的准确性。如果模型更准确(更具预测性),我宁愿花10倍的时间构建模型

有许多标准技术可用于评估模型的预测能力,例如
*省略一个交叉验证
*省略许多交叉验证
*费希尔随机化(http://en.wikipedia.org/wiki/Ronald_Fisher)

建立预测模型也有许多指导原则,例如
*奥卡姆剃须刀
*避免过度安装(http://web.engr.oregonstate.edu/~tgd/classes/534/slides/part10.pdf)
*过度装配的处罚(http://en.wikipedia.org/wiki/Regularization_(数学)

这里有几个地方可以查找更多信息


一句话:找一个最简单的模型来解释你的数据。让我试着回答一个原始问题,这个问题是专门针对尖峰神经网络的性能的。我最近才开始熟悉扣球网,但到目前为止,我发现关于扣球网性能最好的评论是Hélène Paugam Moisy和Sander Bohte的专著《扣球神经元网络计算》,该专著没有付费墙和其他网站

从这个来源来看,从他们的先天能力来看,他们的表现一般都很好;尖峰网络是通用的近似器,就像它们在普通神经网络中的一些同类一样,它们的“计算能力优于图灵机”(第5页,Paugam-Moisy和Bohte)。事实上,对于B型尖峰神经元,Wolfgang Maass“得出结论,尖峰神经元网络在计算上比第一代和第二代神经网络更强大”,即感知器家族和具有连续激活的网络类别(第21页,Paugam Moisy和Bohte)。另一方面,它们容易出现加载问题,在本文讨论的某些条件下,加载问题是NP完全的

就计算性能而言,各种类型的尖峰网在其资源需求上存在很大差异。在第12、14-15页,Paugam Moisy和Bohte对加工操作中的一些差异给出了一个漂亮、快速的总结:

霍奇金-赫胥黎模型(HH)是现实的,但过于复杂 用于模拟SNN。虽然可以应用ODE9解算器 直接到微分方程组,它是 难以计算神经元之间的时间相互作用 霍奇金-赫胥黎模型的大型网络。”

“…复杂度范围也可以用 模拟的计算要求。因为它是由四个 微分方程,霍奇金-赫胥黎模型需要大约1200 每1ms模拟的浮点计算(触发器)。简化为 两个微分方程,Morris-LeCar或FitzHugh-Nagumo模型 仍然有一到几百次失败的计算成本。只有 LIF型号需要5次浮点运算,变种大约需要10次浮点运算 例如具有自适应和二次或指数的LIF 整合并激发神经元,Izhikevich的大约13次失败 模型。”


正如预期的那样,在计算能力和这些计算成本之间有一个折衷;LIF可能需要几次失败,但在文章的后面,他们详细说明了它如何无法达到其他扣球运动员所享受的准确性。计算需求也将受到尖峰网络编码方式的显著影响(我打算自己做,但还没有机会进行实验)。在第38-39页,Paugam Moisy和Bohte强烈建议使用能够最大限度地利用并行性的事件驱动体系结构。我还建议查看他们的广泛参考书目,我相信这会带来许多其他实用的性能技巧。我希望这能有所帮助。

你能说更多关于你试图建模的内容吗?我试图复制位置单元,以识别正在查看的图像流是新颖的还是熟悉的,并在2D地图上分类它认为它在哪里以及它所面对的方向。还有许多其他时变信号,例如音频处理和运动规划,它们将受益于模式识别的时间模型。您以前使用过哪些平台对这些现象进行建模?既然我无法收回赏金,如果您想自己回答,请继续。