如何在PyTorch中通过参数更改恢复Optimizer

如何在PyTorch中通过参数更改恢复Optimizer,pytorch,resume,Pytorch,Resume,我有一个4个头的NN,我想一个接一个地在PyTorch训练 训练完1个头部后,我保存网络,然后我想恢复模型,更改已训练头部的requires_grad并开始训练下一个头部,但我得到以下错误: ValueError:loaded state dict包含与优化器组大小不匹配的参数组 即使在加载模型后更改了requires_grad,我也会得到相同的错误 如果我没有对requires_grad进行任何更改,我不会得到任何错误。这意味着简历很好用 当我加载Optimizer时,问题出现了。可以毫无问题

我有一个4个头的NN,我想一个接一个地在PyTorch训练

训练完1个头部后,我保存网络,然后我想恢复模型,更改已训练头部的requires_grad并开始训练下一个头部,但我得到以下错误: ValueError:loaded state dict包含与优化器组大小不匹配的参数组

即使在加载模型后更改了requires_grad,我也会得到相同的错误

如果我没有对requires_grad进行任何更改,我不会得到任何错误。这意味着简历很好用

当我加载Optimizer时,问题出现了。可以毫无问题地加载模型

请注意,网络结构不会随时间变化。切换的是某些层的可训练性

我怎样才能解决这个问题