Pytorch 是否初始化两个具有相同权重的子模块?
我想知道是否有一种典型的方法可以将一个网络的两个部分初始化为相同的初始值?假设我有两个单独的自动编码器用于查询和文档,我想将这两个自动编码器的权重初始化为相同的权重(不共享权重)Pytorch 是否初始化两个具有相同权重的子模块?,pytorch,Pytorch,我想知道是否有一种典型的方法可以将一个网络的两个部分初始化为相同的初始值?假设我有两个单独的自动编码器用于查询和文档,我想将这两个自动编码器的权重初始化为相同的权重(不共享权重) 谢谢 我认为最简单的方法是随机初始化其中一个子模块,保存状态dict,然后从另一个模块加载状态dict。我最后使用带有相同随机种子的显式随机初始化器初始化两个自动编码器。
谢谢 我认为最简单的方法是随机初始化其中一个子模块,保存
状态dict
,然后从另一个模块加载状态dict
。我最后使用带有相同随机种子的显式随机初始化器初始化两个自动编码器。