Pytorch-为什么是“;累计”;渐变的默认模式?

Pytorch-为什么是“;累计”;渐变的默认模式?,pytorch,Pytorch,为什么作者不让它覆盖渐变呢?是否有任何特定的原因使其累积?因为如果你在向前传球中使用相同的网络两次(或相同的权重),它应该累积而不是覆盖。此外,由于pytorch计算图是由run定义的,因此累积是有意义的。看

为什么作者不让它覆盖渐变呢?是否有任何特定的原因使其累积?

因为如果你在向前传球中使用相同的网络两次(或相同的权重),它应该累积而不是覆盖。此外,由于pytorch计算图是由run定义的,因此累积是有意义的。看