Machine learning 反向传播:何时更新权重?
你能帮我学一下神经网络吗 如果我有任意数据集:Machine learning 反向传播:何时更新权重?,machine-learning,neural-network,backpropagation,Machine Learning,Neural Network,Backpropagation,你能帮我学一下神经网络吗 如果我有任意数据集: +---+---------+---------+--------------+--------------+--------------+--------------+ | i | Input 1 | Input 2 | Exp.Output 1 | Exp.Output 2 | Act.output 1 | Act.output 2 | +---+---------+---------+--------------+--------------
+---+---------+---------+--------------+--------------+--------------+--------------+
| i | Input 1 | Input 2 | Exp.Output 1 | Exp.Output 2 | Act.output 1 | Act.output 2 |
+---+---------+---------+--------------+--------------+--------------+--------------+
| 1 | 0.1 | 0.2 | 1 | 2 | 2 | 4 |
| 2 | 0.3 | 0.8 | 3 | 5 | 8 | 10 |
+---+---------+---------+--------------+--------------+--------------+--------------+
假设我有x个隐藏层,每个层有不同数量的神经元和不同类型的激活函数
运行反向传播(尤其是iRprop+)时,何时更新权重?在计算数据集中的每一行之后,是否更新它们
我曾读到,批量学习通常不如在线培训有效。这意味着最好在每行之后更新权重,对吗
我是否理解正确:历元是指在输入数据集中的每一行中循环?如果是这样的话,那就意味着在一个历元中,权重将更新两次
那么,下面所示的总网络错误在哪里起作用
[,from.]
tl;博士:
请帮助我理解backprop是如何工作的通常,您会在数据集中的每个示例之后更新权重,我假设这就是您所说的每一行的意思。因此,对于每个示例,您将看到神经网络认为输出应该存储过程中每个神经元的输出,然后反向传播错误。因此,从最终输出开始,将ANN的输出与数据集所说的实际输出进行比较,并根据学习率更新权重
学习率应该是一个小常数,因为您正在为每个示例校正权重。一个历元是数据集中每个例子的一次迭代。Yep,每行,我指的是每个例子。在这里的简单数据集中,我有两个例子?因此,每个历元,权重将被更新n次,n=示例数,对吗?如果我更新每行的权重,并且我想要绘制网络的误差,那么我可以看到误差降低,希望我绘制的是哪个误差?每个例子的误差是多少?你可以把每个历元的误差平均起来,看看总的趋势。