Tensorflow 为什么GlorotNormal初始值设定项除以截断的normal';什么是斯蒂夫?
根据它的,Tensorflow 为什么GlorotNormal初始值设定项除以截断的normal';什么是斯蒂夫?,tensorflow,statistics,Tensorflow,Statistics,根据它的,tf.keras.initializers.GlorotNormal() 从以0为中心的截断正态分布中提取样本,stddev=sqrt(2/(fan_in+fan_out)),其中fan_in是权重张量中的输入单位数,fan_out是权重张量中的输出单位数 但是,GlorotNormal继承自VarianceScaling,它在代码中有一个比例,并将其除以截断法线的stddev: 如果self.distribution==“截断的_normal”: #来自scipy.stats.tru
tf.keras.initializers.GlorotNormal()
从以0为中心的截断正态分布中提取样本,stddev=sqrt(2/(fan_in+fan_out)),其中fan_in是权重张量中的输入单位数,fan_out是权重张量中的输出单位数
但是,GlorotNormal
继承自VarianceScaling
,它在代码中有一个比例,并将其除以截断法线的stddev:
如果self.distribution==“截断的_normal”:
#来自scipy.stats.truncnorm.std的常数(a=-2,b=2,loc=0,scale=1。)
STDEV=数学sqrt(比例)/.87962566103423978
返回self.\u随机\u生成器。截断\u法线(形状,0.0,stddev,数据类型)
那么stddev不是真的sqrt(2/(扇入+扇出))/.87962566103423978
?还是我缺少一条统计规则