Deep learning 他要咖啡吗？

我知道我可以用

xavier

或

gaussian

在caffe中初始化卷积网络的权重。遗憾的是，我找不到在caffe中实现的任何其他初始化方法。特别是，我想使用本文中建议的PReLU初始化：

---

这是在caffe和pycaffe中实施的shomewho吗？

他等人使用了一种初始化方案，该方案对给定层的每个权重w进行采样，并独立地均匀分布（iid）：

但是，您可能知道Var（aX）=a^2var（X）。因此：

---

因此，您可以简单地使用

高斯

初始化权重，然后使用

2/n_l

将它们相乘。他等人使用一种初始化方案，对给定层的每个权重w进行采样，该权重w独立地均匀分布（iid）：

但是，您可能知道Var（aX）=a^2var（X）。因此：

因此，您只需使用

gaussian

初始化权重，然后将其乘以

2/n\u l

，MSRA（适用于微软亚洲研究院）填料在论文发表数月后在Caffe中实施。您可以将其与

msra

参数一起使用

该论文发表几个月后，微软亚洲研究院（Microsoft Research Asia）在Caffe中实施了MSRA（微软亚洲研究院）填料。您可以将其与

msra

参数一起使用

---

我宁愿说“He初始化”而不是“PRelu初始化”，因为“PRelu”是激活功能。谢谢，我不知道我宁愿说“He初始化”而不是“PRelu初始化”，因为“PRelu”是激活功能。谢谢，我不知道我在这里遇到了一点小麻烦，你似乎在这方面很先进。我如何知道n_l？

n_l

是第2.2节（方程式5下）中所述的层

l

的连接数。因此，如果层

l-1

有

c

过滤器，层

l

有大小

a*b

的过滤器，那么

n_l=c*a*b

。如果你想看看千层面的实现，也可以看看。我这里有点小麻烦，你在这方面似乎很先进。我如何知道n_l？

n_l

是第2.2节（方程式5下）中所述的层

l

的连接数。因此，如果层

l-1

有

c

过滤器，层

l

有大小

a*b

的过滤器，那么

n_l=c*a*b

。如果您想查看千层面的实现，请参见。