Machine learning “文件”;深度学习需要重新思考“泛化”;

Machine learning “文件”;深度学习需要重新思考“泛化”;,machine-learning,neural-network,Machine Learning,Neural Network,我在读这篇文章,我不明白为什么在第5页,在第2.2节的含义下,它说,重新加工的复杂性,界限是微不足道的 由于我们的随机化测试表明,许多神经网络完美地匹配带有随机标签的训练集,因此我们预计对应模型类H的Rad(H)=1。当然,这是Rademacher复杂度的一个微不足道的上界,在实际设置中不会产生有用的泛化边界。 显然,我缺少了一些关于拉德马赫的知识,因为我不明白他们是如何得出这个结论的。如果有人能在论文中向我解释一下,我将不胜感激。函数h以1为界,因此Rademacher复杂度以1为界(你将n项

我在读这篇文章,我不明白为什么在第5页,在第2.2节的含义下,它说,重新加工的复杂性,界限是微不足道的

由于我们的随机化测试表明,许多神经网络完美地匹配带有随机标签的训练集,因此我们预计对应模型类H的Rad(H)=1。当然,这是Rademacher复杂度的一个微不足道的上界,在实际设置中不会产生有用的泛化边界。


显然,我缺少了一些关于拉德马赫的知识,因为我不明白他们是如何得出这个结论的。如果有人能在论文中向我解释一下,我将不胜感激。函数
h
以1为界,因此Rademacher复杂度以1为界(你将
n
项相加等于1,除以
n
).

我将一步一步地检查我是否真正理解了1)根据论文,根据研究,所有网络都能够训练到零训练错误。2) Rademacher复杂度是检查他们是否能够适应带有随机标签的训练集3)如果是,那么它给出1,因为在所有情况下,它都可以管理,所以我们有一个n*1的和,然后除以n。4) 我们得到一个结果15)它被认为是平凡的,因为正如你在论文中所说的,函数是有界的。我在报纸上找不到这个装订的!?是的,就是这样
h
以1为界,因为它表示
x_i
有标签1的概率(这是一种常用的表示法)