Deep learning pytorch批标准化中检查点之间的线性插值_Deep Learning_Pytorch_Interpolation

Deep learning pytorch批标准化中检查点之间的线性插值

deep-learning pytorch

Deep learning pytorch批标准化中检查点之间的线性插值,deep-learning,pytorch,interpolation,Deep Learning,Pytorch,Interpolation,我想在两个PyTorch训练的模型检查点之间进行线性插值。对于除批处理规范化之外的所有层，我加载声明的dict，并简单地执行以下线性集成： def interpolate_state_dicts(state_dict_1, state_dict_2, weight): return {key: (1 - weight) * state_dict_1[key] + weight * state_dict_2[key] for key in state_dict_1.keys()}

我想在两个PyTorch训练的模型检查点之间进行线性插值。对于除批处理规范化之外的所有层，我加载声明的dict，并简单地执行以下线性集成：

def interpolate_state_dicts(state_dict_1, state_dict_2, weight):
return {key: (1 - weight) * state_dict_1[key] + weight * state_dict_2[key]
        for key in state_dict_1.keys()}

我不知道我们是否可以简单地对BN层参数（重量、偏差、运行平均值、运行标准）执行相同的操作？我想这并不是那么简单，因为平均值和标准差是针对特定批次计算的。

你所说的“平均值和标准差是针对特定批次计算的”是什么意思？你所说的“平均值和标准差是针对特定批次计算的”是什么意思？