Python 复制一层神经元
我正在使用pytorch 0.3.0。我试图有选择地复制同一层中的神经元及其权重,然后用另一组权重替换原始神经元。以下是我的尝试:Python 复制一层神经元,python,python-2.7,machine-learning,pytorch,tensor,Python,Python 2.7,Machine Learning,Pytorch,Tensor,我正在使用pytorch 0.3.0。我试图有选择地复制同一层中的神经元及其权重,然后用另一组权重替换原始神经元。以下是我的尝试: reshaped_data2 = data2.unsqueeze(0) new_layer_data = torch.cat([new_layer.data, reshaped_data2], dim=0) new_layer_data[i] = data1 new_layer.data.copy_(new_layer_data) 首先,我对数据2进行解列,使其成
reshaped_data2 = data2.unsqueeze(0)
new_layer_data = torch.cat([new_layer.data, reshaped_data2], dim=0)
new_layer_data[i] = data1
new_layer.data.copy_(new_layer_data)
首先,我对数据2进行解列,使其成为1*X张量,而不是0*X张量。
然后我将层的张量和重塑后的数据2沿维度0连接起来。
然后,我将位于索引I处的原始数据2替换为数据1。
最后,我将所有这些复制到我的图层中
我得到的错误是:
RuntimeError: inconsistent tensor size, expected tensor [10 x 128] and src [11 x 128] to have the same number of elements, but got 1280 and 1408 elements respectively at /Users/soumith/code/builder/wheel/pytorch-src/torch/lib/TH/generic/THTensorCopy.c:86
如果我做一个简单的作业而不是复制,我会得到
RuntimeError: The expanded size of the tensor (11) must match the existing size (10) at non-singleton dimension 1. at /Users/soumith/code/builder/wheel/pytorch-src/torch/lib/TH/generic/THTensor.c:309
我理解这个错误,但正确的方法是什么?您试图用11x128张量替换10x128张量,但模型不允许这样做。新的_层是否初始化为11、128号?
如果没有,请尝试创建具有所需大小11、128的新图层,然后复制/分配新图层数据。这里的解决方案是创建具有正确大小的新模型,并将权重作为默认值传入。未找到动态扩展解决方案。新的\u层已初始化为10x128,我将其修改为11x128。您建议创建一个全新的图层对象,然后在中复制数据?这和我在torch.cat返回一个新对象后所做的不一样吗?torch.cat确实返回了一个新对象,但简单地将其分配给最初的10128层似乎并不能消除它,至少在使用.data时是这样。您可能想完全放弃它,而是指定.weight和.bias。看到这个论坛帖子:我会看一看谢谢你,虽然我注意到它是pytorch的一个更高版本。如果你发布一个解决方案,我可以标记你的答案为正确。