Fatal编程技术网
  • deep-learning/
  • Deep learning 添加元素层后是否可以使用预训练模型？

Deep learning 添加元素层后是否可以使用预训练模型？

deep-learning

Deep learning 添加元素层后是否可以使用预训练模型？,deep-learning,caffe,pycaffe,matcaffe,Deep Learning,Caffe,Pycaffe,Matcaffe,我使用的是一个预先训练好的模型，我想添加Elementwise层来生成两层的输出：一层是卷积层1x1x25x256的输出，另一层也是卷积层1x32x256x256的输出。我的问题是：如果我们添加元素层以将两个层相乘并发送到下一层，我们应该从头开始训练，因为体系结构已经修改，还是仍然可以使用预训练的模型 谢谢的确，对体系结构进行更改会使学到的功能发生冲突 但是，没有理由不为更改下面的层使用学习的权重——这些层不受更改的影响，因此它们可以从初始化中受益 至于其余的层，我想训练权重的init不应该比r

我使用的是一个预先训练好的模型，我想添加
Elementwise
层来生成两层的输出：一层是卷积层
1x1x25x256
的输出，另一层也是卷积层
1x32x256x256
的输出。我的问题是：如果我们添加元素层以将两个层相乘并发送到下一层，我们应该从头开始训练，因为体系结构已经修改，还是仍然可以使用
预训练的
模型


谢谢
的确，对体系结构进行更改会使学到的功能发生冲突

但是，没有理由不为更改下面的层使用学习的权重——这些层不受更改的影响，因此它们可以从初始化中受益

至于其余的层，我想训练权重的init不应该比random差，那么为什么不呢


不要忘记使用随机权重初始化任何新层（caffe中的默认值为零，这可能会给学习带来麻烦）。
非常感谢亲爱的Shai