Neural network 如何规范化神经网络中的千权重？
我有一个反向传播问题，在这个问题中，每层有数千个权重（20k）。我的问题在于，在使用激活函数之前，某个节点的所有（输入*权重）值之和达到1k到2k，并且还在增加。我知道我应该期望总和的范围应该在“激活范围”内，以便sigmoid函数可以接受 有没有一种方法可以使总和在-35到35之间，而不是1k或2k+？后一个值会影响我的输出层节点，使其始终给出值“1”（如果为正1k或2k）或“0”（如果为负1k或2k）Neural network 如何规范化神经网络中的千权重？,neural-network,Neural Network,我有一个反向传播问题，在这个问题中，每层有数千个权重（20k）。我的问题在于，在使用激活函数之前，某个节点的所有（输入*权重）值之和达到1k到2k，并且还在增加。我知道我应该期望总和的范围应该在“激活范围”内，以便sigmoid函数可以接受 有没有一种方法可以使总和在-35到35之间，而不是1k或2k+？后一个值会影响我的输出层节点，使其始终给出值“1”（如果为正1k或2k）或“0”（如果为负1k或2k） 我在较小的情况下测试了反向传播，这种情况通常有效，但规模不大。听起来您的反向传播实现可能有
我在较小的情况下测试了反向传播，这种情况通常有效，但规模不大。听起来您的反向传播实现可能有问题。如果你的乙状结肠发射错误，那么你的学习过程是否应该逐渐向下调整权重，直到不发生这种情况？是否有任何公式可以使我的输入和权重正常化？我不希望总数达到更大的数值。我希望总和在sigmoid的“激活范围”内（介于-35到+35之间）。您如何初始化权重？您是否尝试过使用N（0，std）进行初始化，其中std可以遵循Glorot和Bengio的建议2/（传入节点+传出节点）？