Artificial intelligence 反向传播问题

关于如何编写神经网络的反向传播算法，我有几个问题：

我的网络拓扑是输入层、隐藏层和输出层。隐藏层和输出层都有sigmoid函数

首先，我应该使用偏见吗？ 我应该将偏差连接到哪里 在我的网络中？我应该放一个偏见吗 两个隐藏区域中每层的单位数 层和输出层？那么...怎么样 输入层

在这种情况下，它们将最后一个增量定义为输入-输出，并反向传播这些增量，如图所示 所有以前的三角洲实际上 将错误传播到 前馈方式。这是一辆汽车吗 偏离标准 反向传播算法？

我应该减少学习吗 时间因素

如果有人知道，他很有弹性 在线或批处理的传播 学习技巧

谢谢

编辑：还有一件事。在下图中，df1（e）/de，假设我使用的是sigmoid函数，是f1（e）*[1-f1（e）]，对吗？

情况各不相同。就我个人而言，我看不出有多少产生偏见的原因，但我还没有对NN进行足够的研究，以真正提出支持或反对它们的有效理由。我会试试看，看看结果如何

没错。反向传播涉及首先计算增量，然后在网络中传播它们

对。学习因素应该随着时间的推移而降低。然而，使用BP时，您可能会遇到局部的、不正确的高原，因此有时在第500次迭代前后，将学习因子重置为初始速率是有意义的

我不能回答…从来没有听说过RP

---

你的问题需要更详细地说明。。。你需要什么？概括还是记忆？您预期的是一个复杂的模式匹配数据集，还是一个连续的域输入输出关系？这是我的0.02美元：

我建议你留下一个偏倚神经元以备不时之需。如果NN认为不必要，则训练应将权重推至可忽略的值。它将连接到前面层中的每个神经元，但不会连接到前面层中的任何神经元

据我所知，这个方程式看起来像是标准的backprop

很难概括你的学习率是否需要随着时间的推移而降低。这种行为高度依赖于数据。你的学习速度越小，你的训练就越稳定。但是，它的速度可能非常慢，特别是如果您像我以前那样使用脚本语言运行它

弹性backprop（或MATLAB中的RProp）应处理在线和批量培训模式

---

我想补充一下，如果可能的话，您可能需要考虑替代的激活函数。sigmoid函数并不总是给出最好的结果…

Re 4）我认为RP可以在线或批处理，我的目标是推广。我现在正在使用tanh。除此之外，你还有什么建议？对于隐藏神经元和输出神经元，将tanh函数和线性函数分别组合在一起有利于连续函数映射。阶跃函数适用于模式识别。请在您的问题中添加更多详细信息。