Neural network 将权重归一化以产生中频函数信号

Neural network 将权重归一化以产生中频函数信号,neural-network,normalization,Neural Network,Normalization,我正在制作一个多层感知器,我需要为输入->隐藏单位选择权重。我们的讲座说: 目的是选择产生中频函数信号的权重值 从均匀概率分布中随机选择权重值 使权重值正常化,以便每个单元的加权连接数 产生中频功能信号 我不知道他所说的中频函数信号是什么意思。因此,如果单元1的权重为[0.50.90.1],我是否只需要取和,然后将每个权重除以和?每个输入单元或输出单元都有吗 非常感谢 权重初始化 中端值 权重应在这样的时间间隔内初始化,学习算法应能轻松观察到操作一组权重的结果。通过从一个小的间隔中选择权重,学习

我正在制作一个多层感知器,我需要为输入->隐藏单位选择权重。我们的讲座说:

目的是选择产生中频函数信号的权重值

从均匀概率分布中随机选择权重值

使权重值正常化,以便每个单元的加权连接数 产生中频功能信号

我不知道他所说的中频函数信号是什么意思。因此,如果单元1的权重为[0.50.90.1],我是否只需要取和,然后将每个权重除以和?每个输入单元或输出单元都有吗

非常感谢

权重初始化 中端值
权重应在这样的时间间隔内初始化,学习算法应能轻松观察到操作一组权重的结果。通过从一个小的间隔中选择权重,学习算法只需将权重改变一个小的增量即可观察输出信号的变化

均匀分布
最好通过从[-0.1,0.1]范围内选择随机变量来初始化权重。根据统计直觉,我们可以推断,从0左右的“对称”区间均匀选择权重确实意味着平均信号将接近平均值。例如:

weights = [-0.05, -0.05, 0, 0.1]
signal = 0.7
average(weights * signal)  = 0.7

很酷,但如何使均匀启动的权重正常化?不明白。你唯一需要做的就是在区间
[-0.1,0.1]
内统一初始化所有权重。如果您使用的是NumPy:
np.random.uniform(-0.1,0.1,size=(1,n_权重))
Nah我认为它不应该在-0.1和0.1之间。它应该是[-sqrt(6/(扇入+扇出)),sqrt(6/(扇入+扇出))]出于好奇:你为什么要在区间计算中包含“扇出”度?