Deep learning 在少于十层的网络中使用跳过连接有意义吗？_Deep Learning_Conv Neural Network_Resnet

Deep learning 在少于十层的网络中使用跳过连接有意义吗？

deep-learning

Deep learning 在少于十层的网络中使用跳过连接有意义吗？,deep-learning,conv-neural-network,resnet,Deep Learning,Conv Neural Network,Resnet,我在ResNet的论文中读到了关于跳过层连接的内容，以及它们如何有助于训练非常深入的网络在小于10层的较小（即类似AlexNet的）网络中使用此类连接有意义吗不太可能，因为它们的主要目的是改善通过网络的梯度流量，这本质上是在不增加参数数量的情况下增加容量。然而，如果一个小的网络有足够的容量来满足您的用例，那么您实际上并不需要更多的容量使用跳过连接的主要原因之一是，当网络较深时，可以改善渐变流。具有跳过连接的网络保证至少作为普通网络运行。a1*x+a0具有仅拟合直线的能力a2*x^2+a1*

我在ResNet的论文中读到了关于跳过层连接的内容，以及它们如何有助于训练非常深入的网络

在小于10层的较小（即类似AlexNet的）网络中使用此类连接有意义吗

不太可能，因为它们的主要目的是改善通过网络的梯度流量，这本质上是在不增加参数数量的情况下增加容量。然而，如果一个小的网络有足够的容量来满足您的用例，那么您实际上并不需要更多的容量

使用跳过连接的主要原因之一是，当网络较深时，可以改善渐变流。具有跳过连接的网络保证至少作为普通网络运行。

a1*x+a0

具有仅拟合直线的能力

a2*x^2+a1*x+a0

具有仅拟合简单曲线的能力。如果（您认为）网络中的参数数量足以概括（或拟合）数据，则认为网络能够拟合数据，这就是他所说的容量