Machine learning 神经网络中的多个隐藏层如何提高其学习能力？

大多数神经网络只使用一个隐藏层就能带来高精度，那么多个隐藏层的目的是什么呢？

要回答您的问题，您首先需要找到“深度学习”一词产生于近十年前的原因。深度学习不过是一个有几个隐藏层的神经网络。“深层”一词大致指的是我们的大脑将感觉输入（特别是眼睛和视觉皮层）通过不同层次的神经元进行推理的方式。然而，直到大约十年前，由于出现了不同的问题，例如陷入局部极小值、效率较低的优化技术（与现在使用的技术相比）和一些其他问题，研究人员还无法训练具有超过1或2个隐藏层的神经网络。2006年和2007年，几位研究人员展示了一些新技术，这些技术能够更好地训练具有更多隐藏层的神经网络，从那时起，深度学习时代开始了

在深层神经网络中，目标是模仿大脑的行为（希望如此）。在进一步描述之前，我可以指出，从抽象的角度来看，任何学习算法中的问题都是在给定一些输入X和输出Y的情况下近似函数。神经网络也是如此，理论上已经证明，以有界连续激活函数为单位，只有一个隐藏层的神经网络可以逼近任何函数。这个定理被创造为。然而，这提出了一个问题，为什么具有一个隐藏层的当前神经网络不能以非常高的精度（比如>99%）逼近任何函数？这可能是由于许多原因造成的：

• 当前的学习算法并不像它们应该的那样有效
• 对于一个特定的问题，我们应该如何选择隐藏单元的确切数量，以便学习所需的函数并很好地逼近底层流形
• 训练示例的数量可能与隐藏单元的数量成指数关系。那么，一个人应该用多少个训练示例来训练一个模型呢？这可能会变成一个鸡蛋问题
• 什么是右有界的连续激活函数？普适逼近定理是否可推广到任何其他激活函数而不是sigmoid
• 还有其他问题也需要回答，但我认为最重要的是我提到的那些问题

在对上述问题（无论是理论上还是经验上）给出可证明的答案之前，研究人员开始使用多个隐藏层和数量有限的隐藏单元。从经验上看，这显示了巨大的优势。虽然添加更多的隐藏层会增加计算成本，但经验证明，更多的隐藏层可以学习输入数据的层次表示，并且可以更好地推广到看不见的数据。通过查看下面的图片，您可以看到深层神经网络如何学习特征的层次结构，并在我们从第一个隐藏层到最后一个隐藏层的过程中依次组合它们：

拍摄自

如您所见，第一个隐藏层（如下图所示）学习一些边，然后将这些看似无用的表示组合成对象的某些部分，然后组合这些部分将生成诸如人脸、汽车、大象、椅子等。注意，如果没有使用新的优化技术和新的激活函数，这些结果是不可能实现的