Machine learning 神经网络:在线学习(一次一个例子)

Machine learning 神经网络:在线学习(一次一个例子),machine-learning,backpropagation,neural-network,Machine Learning,Backpropagation,Neural Network,我有一个执行分类任务的神经网络,当训练集足够大时,它工作得相当好 但是,我正在寻找一种方法来训练NN。 也就是说,我截取数据,每次截取一个示例,我需要更新我的NN权重。我不允许为将来的批量培训目的存储数据 我有一个八度的前馈神经网络(遵循斯坦福大学的Coursera ML课程)。我可以使用每个新示例在NN上运行prop,但这种方法不可靠地收敛,并且需要大量时间 在神经网络环境下,还有其他更有效的在线学习算法吗? 我注意到Matlab的函数似乎就是这样做的。文档没有说明它在幕后做什么。这仅仅是ba

我有一个执行分类任务的神经网络,当训练集足够大时,它工作得相当好

但是,我正在寻找一种方法来训练NN。
也就是说,我截取数据,每次截取一个示例,我需要更新我的NN权重。我不允许为将来的批量培训目的存储数据

我有一个八度的前馈神经网络(遵循斯坦福大学的Coursera ML课程)。我可以使用每个新示例在NN上运行prop,但这种方法不可靠地收敛,并且需要大量时间

在神经网络环境下,还有其他更有效的在线学习算法吗?


我注意到Matlab的函数似乎就是这样做的。文档没有说明它在幕后做什么。这仅仅是back prop的一次迭代吗?

当您一次使用一个示例运行backprop时,有什么不起作用?只要您将学习速率、动量等设置为“良好”值,就会调用该方法,并且通常效果良好。然而,我看到它在一些问题上效果很差,比如XOR。你能在你的问题中提供更多的细节吗?很抱歉,你是对的。随机背道具工作良好。这是一个实现错误,我。我已经修改了这个问题,以找到其他算法来做同样的事情。