Machine learning 神经网络中权值随机化的频率_Machine Learning_Neural Network

Machine learning 神经网络中权值随机化的频率

machine-learning neural-network

Machine learning 神经网络中权值随机化的频率,machine-learning,neural-network,Machine Learning,Neural Network,我正在实现一个多层感知器，我正在玩一些我在课堂上听到的不同功能，其中之一是周期性随机权重。我目前的方法是每隔几个时期对其中一小部分进行一次随机化，但这似乎是一条细线，介于随机化到足以忽略局部极小值和随机化到难以收敛之间。目前，我正在运行一个64，30，10多层感知器，在一个训练集上，大约有4000个观察值，并且每10个时代随机分配1%的权重有人对合理数量的随机化有任何意见吗？这是一个很好的数量还是我应该少做？我这样做是不对的吗？阿法克·努恩（Afaik noone）现在正在这样做（正如你所说，

我正在实现一个多层感知器，我正在玩一些我在课堂上听到的不同功能，其中之一是周期性随机权重。我目前的方法是每隔几个时期对其中一小部分进行一次随机化，但这似乎是一条细线，介于随机化到足以忽略局部极小值和随机化到难以收敛之间。目前，我正在运行一个64，30，10多层感知器，在一个训练集上，大约有4000个观察值，并且每10个时代随机分配1%的权重

有人对合理数量的随机化有任何意见吗？这是一个很好的数量还是我应该少做？我这样做是不对的吗？

阿法克·努恩（Afaik noone）现在正在这样做（正如你所说，这种事情需要任意修正完全任意的数字）。有很多技巧可以让你的学习表现得更好——SGD（而不是全梯度）；不同类型的规范化（如批量规范）；动量（例如亚当）；退出等。如果您想在某处注入噪声，请不要在权重中添加噪声-将其注入样本、标签，但不要注入权重中（除非您将旧的保留在内存中，以便可以回退，否则会出现问题）。网络wrt的灵敏度。权重计算是一项复杂的、难以建模的工作，这（为了做得好）需要计算完整的Fisher矩阵等。与计算（和实现！）成本相比，这种方法的好处实在微不足道