Artificial intelligence 深层神经网络是一层一层地教授还是一次教授所有的层？

我试图掌握深层神经网络的概念。当他们被解释时，他们基本上说网络的每一层代表一个抽象层次，例如，第一层是关于边缘，下一层是关于形状，比如轮子，下一层是关于轮子加起来是什么，比如汽车

这张图片几乎代表了以下概念：

---

计算每层的权重时，是一次计算一层，还是将所有层一起计算。你是先在一组标有不同边缘的图像上运行人工智能，然后在一组标有车轮等东西的图像上运行人工智能，然后在一组标有汽车的图像上运行人工智能，还是让网络自行解决这一问题？

你没有在每一层上为深度网络提供监控，就构建数据集而言，这太复杂了。您在这些幻灯片上看到的是对正在发生的事情的解释，而不是我们强制执行的内容。有两种分层技术（现在不太流行）和联合使用的所有技术（流行知识），但它们都不使用额外的监督，你不告诉网络提取边缘，它只是从实践中的优化问题和网络结构中产生的

---

然而，也有一些深层体系结构不具备这种特性，比如或一般来说——递归网络（在这个意义上也是“深层的”）。因此，不要将其视为深度学习的一个属性，这只是处理特定数据时常见的经验观察结果。

如果没有为深度网络提供每一层的监督，这在构建数据集方面会太复杂。您在这些幻灯片上看到的是对正在发生的事情的解释，而不是我们强制执行的内容。有两种分层技术（现在不太流行）和联合使用的所有技术（流行知识），但它们都不使用额外的监督，你不告诉网络提取边缘，它只是从实践中的优化问题和网络结构中产生的

---

然而，也有一些深层体系结构不具备这种特性，比如或一般来说——递归网络（在这个意义上也是“深层的”）。因此，不要将其视为深度学习的属性，这只是处理特定数据时常见的经验性观察。，不多也不少。

这非常有用！当训练单层网络时，我知道如何使用梯度下降之类的方法来正确地改变权重，但是如果你有隐藏层，你不知道你在优化什么，你怎么知道如何改变每个权重。这可能是它自己的主题，但如果你能为我指出正确的方向，那就太好了！我能看出你的困惑。当你有一个单一的隐藏层，你也没有监督，你不知道什么是预期的激活，你只知道正确的答案在顶层。那你是干什么的？您只需计算渐变wrt参数。当你有更多的图层时，一切都不会改变。顶部仍然有一个监控，您可以计算所有参数的梯度wrt。有一些技巧可以有效地做到这一点（backprop），但从数学的角度来看，这是相同的。你只需要部分导数。因此，您将所有其他weoghts视为常量，这非常有帮助！当训练单层网络时，我知道如何使用梯度下降之类的方法来正确地改变权重，但是如果你有隐藏层，你不知道你在优化什么，你怎么知道如何改变每个权重。这可能是它自己的主题，但如果你能为我指出正确的方向，那就太好了！我能看出你的困惑。当你有一个单一的隐藏层，你也没有监督，你不知道什么是预期的激活，你只知道正确的答案在顶层。那你是干什么的？您只需计算渐变wrt参数。当你有更多的图层时，一切都不会改变。顶部仍然有一个监控，您可以计算所有参数的梯度wrt。有一些技巧可以有效地做到这一点（backprop），但从数学的角度来看，这是相同的。你只需要部分导数。因此，您将所有其他weoghts视为常量并进行区分