Pytorch 当我包括'；loss.backward（）和#x27；在'；带火炬。无梯度（）：'；？

我正在使用PyTorch中的一个线性回归示例。我知道我做错了，包括使用torch.no_grad（）：'时的'loss.backward（）'在内，但为什么它与我的代码配合得很好呢

根据，

torch.autograd.no_grad

是禁用渐变计算的上下文管理器。所以我真的很困惑

代码如下：

导入火炬
导入torch.nn作为nn
将numpy作为np导入
将matplotlib.pyplot作为plt导入
#玩具数据集
x_train=np.数组（[[3.3]、[4.4]、[5.5]、[6.71]、[6.93]、[4.168]，
[9.779], [6.182], [7.59], [2.167], [7.042], 
[10.791]、[5.313]、[7.997]、[3.1]、dtype=np.32）
y_train=np.数组（[1.7]、[2.76]、[2.09]、[3.19]、[1.694]、[1.573]，
[3.366], [2.596], [2.53], [1.221], [2.827], 
[3.465]、[1.65]、[2.904]、[1.3]、dtype=np.32）
输入大小=1
输出大小=1
纪元=100
学习率=0.05
模型=nn.线性（输入大小、输出大小）
标准=nn.MSELoss（减少='sum'）
optimizer=torch.optim.Adam（model.parameters（），lr=learning\u rate）
#训练
对于范围内的历元（历元）：
#将numpy转换为张量
输入=来自numpy（x列车）的火炬
目标=火炬从努比（y列车）
#前进
输出=模型（输入）
损失=标准（输出，目标）
#落后的
使用手电筒。无梯度（）
模型0_梯度（）
loss.backward（）
optimizer.step（）
打印（'inputs grad:'，inputs.requires_grad）
如果历元%5==0：
打印（'Epoch[{}/{}]，丢失：{:.4f}'。格式（Epoch+1，Epoch，Loss.item（））
预测=模型（火炬从（x列车）开始）。分离（）.numpy（）
plt.绘图（x_系列、y_系列、ro系列、标签=‘原始数据’）
plt.绘图（x_列车，预测，标签='装配线'）
plt.legend（）
plt.show（）
#保存模型检查点
torch.save（model.state\u dict（），'model\linear\u model.ckpt'）

---

提前感谢您回答我的问题。

这是有效的，因为损失计算发生在

无梯度之前，并且您一直根据损失计算来计算梯度（该计算启用了梯度）

基本上，您可以使用在
no_grad
之外计算的渐变继续更新层的权重

当您实际使用
no\u grad
时：

for epoch in range(epochs):
    # convert numpy to tensor
    inputs = torch.from_numpy(x_train)
    targets = torch.from_numpy(y_train)
    with torch.no_grad():  # no_grad used here
    # forward
        out = model(inputs)
        loss = criterion(out, targets)
        model.zero_grad()
        loss.backward()
        optimizer.step()
        print('inputs grad : ', inputs.requires_grad)
    if epoch % 5 == 0:
        print ('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, epochs, loss.item()))

然后你会得到正确的错误，说：

张量的
元素0不需要梯度，也没有梯度fn

也就是说，在不适合使用的地方使用
no_grad

如果打印损失的
.requires\u grad
，则您将看到损失具有
requires\u grad

也就是说，当您这样做时：

for epoch in range(epochs):
    # convert numpy to tensor
    inputs = torch.from_numpy(x_train)
    targets = torch.from_numpy(y_train)

    # forward
    out = model(inputs)
    loss = criterion(out, targets)

    # backward
    with torch.no_grad():
        model.zero_grad()
        loss.backward()

        optimizer.step()
        print('inputs grad : ', inputs.requires_grad)
        print('loss grad : ', loss.requires_grad)  # Prints loss.require_rgad
    if epoch % 5 == 0:
        print ('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, epochs, loss.item()))

你会看到：

inputs grad :  False
loss grad :  True

此外

print('inputs grad : ', inputs.requires_grad)

将始终打印
False
。也就是说，如果你这样做了

for epoch in range(epochs):
    # convert numpy to tensor
    inputs = torch.from_numpy(x_train)
    targets = torch.from_numpy(y_train)

    print('inputs grad : ', inputs.requires_grad). # Print the inputs.requires_grad

    # forward
    out = model(inputs)
    loss = criterion(out, targets)

    # backward
    with torch.no_grad():
        model.zero_grad()
        loss.backward()

        optimizer.step()
        print('inputs grad : ', inputs.requires_grad)
        print('loss grad : ', loss.requires_grad)
    if epoch % 5 == 0:
        print ('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, epochs, loss.item()))

您将获得：

inputs grad :  False
inputs grad :  False
loss grad :  True

也就是说，你用错误的东西来检查你做错了什么。你能做的最好的事情就是再次阅读PyTorch关于梯度力学的文档
 谢谢你的建议，你真的帮了我很多。我以前误解了pytorch上的签名。