Neural network 多层感知器反向传播

Neural network 多层感知器反向传播,neural-network,backpropagation,Neural Network,Backpropagation,我试图找出一个问题,问为什么如果在输入和输出之间添加不必要的附加层,MLP网络中的训练时间会显著增加。(这不是一个硬件问题) 我想这和反向传播过程有关。我知道权重更新只适用于导致错误的神经元。。这仅仅是因为有更多的神经元,所以有更多的权重更新,这需要更长的时间吗?但我不明白为什么这会导致“戏剧性”的增长。任何帮助都将不胜感激。重量更新不适用于神经元,它们适用于神经元之间的连接。如果你有两个完全连接的层,分别是m和n个单元,那么你就有m×n个连接/权重/更新要执行。此外,“权重更新只适用于导致错误

我试图找出一个问题,问为什么如果在输入和输出之间添加不必要的附加层,MLP网络中的训练时间会显著增加。(这不是一个硬件问题)


我想这和反向传播过程有关。我知道权重更新只适用于导致错误的神经元。。这仅仅是因为有更多的神经元,所以有更多的权重更新,这需要更长的时间吗?但我不明白为什么这会导致“戏剧性”的增长。任何帮助都将不胜感激。

重量更新不适用于神经元,它们适用于神经元之间的连接。如果你有两个完全连接的层,分别是m和n个单元,那么你就有m×n个连接/权重/更新要执行。此外,“权重更新只适用于导致错误的神经元”这一说法并不完全正确。实际上,权重更新的应用与连接导致错误的程度成比例。因此,理论上是的,如果一个连接没有对错误造成太大的影响,那么它也不应该更新太多。但是为了做到这一点,你仍然需要计算所有的权重,以知道每个权重需要更新多少。这意味着,无论连接(或权重)对错误值的影响有多大,它仍将被更新,尽管更新量可以忽略不计。