Python 为什么这种反向传播实现无法正确训练权重?
我以代码为例,为神经网络编写了以下反向传播例程。我所面临的问题让我感到困惑,并将我的调试技能推向了极限 我面临的问题相当简单:当神经网络训练时,它的权值被训练为零,而精度没有提高 我已多次尝试修复它,并验证:Python 为什么这种反向传播实现无法正确训练权重?,python,neural-network,backpropagation,Python,Neural Network,Backpropagation,我以代码为例,为神经网络编写了以下反向传播例程。我所面临的问题让我感到困惑,并将我的调试技能推向了极限 我面临的问题相当简单:当神经网络训练时,它的权值被训练为零,而精度没有提高 我已多次尝试修复它,并验证: 训练集是正确的 目标向量是正确的 前进步骤是正确记录信息 后向步长增量记录正确 三角洲上的标志是正确的 重量确实在调整 输入层的增量都为零 没有其他错误或溢出警告 一些信息: 训练输入是一个8x8网格,由[0,16]个值组成,表示强度;该网格表示一个数字(转换为列向量) 目标向量是与
- 训练集是正确的
- 目标向量是正确的
- 前进步骤是正确记录信息
- 后向步长增量记录正确
- 三角洲上的标志是正确的
- 重量确实在调整
- 输入层的增量都为零
- 没有其他错误或溢出警告
- 训练输入是一个8x8网格,由[0,16]个值组成,表示强度;该网格表示一个数字(转换为列向量)
- 目标向量是与正确数字对应的位置为1的输出
- 原始权重和偏差由高斯分布分配
- 激活是标准的乙状结肠
def backprop(train_set, wts, bias, eta):
learning_coef = eta / len(train_set[0])
for next_set in train_set:
# These record the sum of the cost gradients in the batch
sum_del_w = [np.zeros(w.shape) for w in wts]
sum_del_b = [np.zeros(b.shape) for b in bias]
for test, sol in next_set:
del_w = [np.zeros(wt.shape) for wt in wts]
del_b = [np.zeros(bt.shape) for bt in bias]
# These two helper functions take training set data and make them useful
next_input = conv_to_col(test)
outp = create_tgt_vec(sol)
# Feedforward step
pre_sig = []; post_sig = []
for w, b in zip(wts, bias):
next_input = np.dot(w, next_input) + b
pre_sig.append(next_input)
post_sig.append(sigmoid(next_input))
next_input = sigmoid(next_input)
# Backpropagation gradient
delta = cost_deriv(post_sig[-1], outp) * sigmoid_deriv(pre_sig[-1])
del_b[-1] = delta
del_w[-1] = np.dot(delta, post_sig[-2].transpose())
for i in range(2, len(wts)):
pre_sig_vec = pre_sig[-i]
sig_deriv = sigmoid_deriv(pre_sig_vec)
delta = np.dot(wts[-i+1].transpose(), delta) * sig_deriv
del_b[-i] = delta
del_w[-i] = np.dot(delta, post_sig[-i-1].transpose())
sum_del_w = [dw + sdw for dw, sdw in zip(del_w, sum_del_w)]
sum_del_b = [db + sdb for db, sdb in zip(del_b, sum_del_b)]
# Modify weights based on current batch
wts = [wt - learning_coef * dw for wt, dw in zip(wts, sum_del_w)]
bias = [bt - learning_coef * db for bt, db in zip(bias, sum_del_b)]
return wts, bias
根据Shep的建议,我检查了训练shape
[2,1,1]网络时发生的情况
始终输出1,事实上,在这种情况下,网络会正确训练。我的最佳猜测是,0的梯度调整过强,1的梯度调整过弱,导致净下降,尽管每一步都会增加,但我不确定。我想你的问题在于初始权重的选择和权重算法的初始化。作者声称它通常比其他初始化方法的性能更差。这是权重初始化算法性能的另一个结果。根据我自己的经验,建议您使用不同的符号值初始化权重。即使在我所有正输出权重都不同的情况下也是如此ent符号的性能比使用同一符号要好。因为您没有硬编码网络拓扑,这里有一个建议:尝试使用零或一个隐藏层(每个层有一个节点)、一个输入和一个输出进行训练,看看这是否符合您的预期。@Shep有趣的是,当使用shape[2,1,1]在nnet上运行时
,权重实际上已正确训练。将其训练为输出1,权重实际上会增加,输出收敛于1。有趣的测试。1)通过“权重正在训练为零”,你的意思是权重一开始是随机数,但似乎收敛到零?2)你的实际网络有多大?3)尝试将你的输入缩放到[0,1]范围。@cfh是的,权重最终下降到零,尽管最初是随机的。我尝试训练的网络具有形状[64,15,25,10]
。当输入缩放到[0,1]
时,结果不会改变。您如何使用学习率?