Machine learning xavier_initializer（）如何知道激活？

tf.contrib.layers.xavier_initializer（）如何知道激活函数

初始化油井的标准偏差取决于所使用的非线性。对吗？那么tf.contrib.layers.xavier_初始化器（）如何知道发生了什么

以以下情况为例：

W = tf.get_variable("W", shape=[784, 256],
           initializer=tf.contrib.layers.xavier_initializer())

这个W对X做了一些事情，然后结果被传递给tanh或relu或have you。现在，初始值设定项在W中。tensorflow如何计算激活？还是我必须介入，知道我将要使用的激活

看看里面的论点，我可以选择统一分布或正态分布。但这并不能解决问题，对吗

初始化油井的标准偏差取决于所使用的非线性。对吧?

不需要。Xavier初始化不需要知道任何有关网络使用的非线性的信息

事实上，Xavier初始化只是从均值=0、方差=

1/

的随机分布中选取值的权重的初始化

声明变量时，传递

shape

参数。形状参数的第一个维度是

也许您正在寻找He初始化，它是专门为ReLU e PReLU定义的，但即使在这种情况下，变量初始化也不需要知道接下来会发生什么非线性

初始化油井的标准偏差取决于所使用的非线性。对吧?

不需要。Xavier初始化不需要知道任何有关网络使用的非线性的信息

事实上，Xavier初始化只是从均值=0、方差=

1/

的随机分布中选取值的权重的初始化

声明变量时，传递

shape

参数。形状参数的第一个维度是

也许您正在寻找He初始化，它是专门为ReLU e PReLU定义的，但即使在这种情况下，变量初始化也不需要知道接下来会发生什么非线性