Machine learning 层标准化层中β和γ参数的形状是什么?

Machine learning 层标准化层中β和γ参数的形状是什么?,machine-learning,neural-network,deep-learning,Machine Learning,Neural Network,Deep Learning,在层标准化中,我们计算输入层的平均值和方差(而不是我们在批标准化中所做的跨批)。然后根据均值和方差对输入层进行归一化,然后返回gamma乘以归一化层加上beta 我的问题是,伽马标量和贝塔标量的形状分别是(1,1)和(1,1),或者它们的形状分别是(1,隐藏单位数)和(1,隐藏单位数) 下面是我如何实现层规范化的,是否正确 def图层格式(图层、伽马、贝塔): 平均值=np.平均值(层,轴=1,keepdims=True) 方差=np.平均值((层-平均值)**2,轴=1,keepdims=Tr

在层标准化中,我们计算输入层的平均值和方差(而不是我们在批标准化中所做的跨批)。然后根据均值和方差对输入层进行归一化,然后返回gamma乘以归一化层加上beta

我的问题是,伽马标量和贝塔标量的形状分别是(1,1)和(1,1),或者它们的形状分别是(1,隐藏单位数)和(1,隐藏单位数)

下面是我如何实现层规范化的,是否正确

def图层格式(图层、伽马、贝塔):
平均值=np.平均值(层,轴=1,keepdims=True)
方差=np.平均值((层-平均值)**2,轴=1,keepdims=True)
层=层-平均值)*1.0/np.sqrt(方差+1e-8)
输出=伽马*层+β
返回输出
其中,γ和β的定义如下:

gamma=np.random.normal(1128)
β=np.随机.正常(1128)
根据,假设输入具有shape
[B,rest]
,gamma和beta为shape
rest
rest
对于二维输入可以是(h,),对于四维输入可以是(h,w,c)