Fatal编程技术网
  • machine-learning/
  • Machine learning 剩余网络是否可以跳过一个线性而不是两个线性？

Machine learning 剩余网络是否可以跳过一个线性而不是两个线性？

machine-learning neural-network deep-learning

Machine learning 剩余网络是否可以跳过一个线性而不是两个线性？,machine-learning,neural-network,deep-learning,deep-residual-networks,Machine Learning,Neural Network,Deep Learning,Deep Residual Networks,resnet中的标准是跳过2个线性。 你会不会也只跳过一项工作？我会把你引荐给艾尔的何开明 在第3.1-3.2节中，他们将“身份”快捷方式定义为y=F（x，W）+x，其中W是可训练参数，用于学习任何剩余映射。重要的是，残差映射包含非线性，否则整个构造就是一个复杂的线性层。但线性的数量是不受限制的 例如，在仅包含卷积层的堆栈周围创建标识快捷方式（请参见下图）。因此，剩余区块中没有任何致密层 因此，一般的答案是：是的，它会起作用。然而，在一个特定的神经网络中，将两个密集层减少为一个可能是一个坏主意

resnet中的标准是跳过2个线性。 你会不会也只跳过一项工作？

我会把你引荐给艾尔的何开明

在第3.1-3.2节中，他们将“身份”快捷方式定义为
y=F（x，W）+x
，其中
W
是可训练参数，用于学习任何剩余映射。重要的是，残差映射包含非线性，否则整个构造就是一个复杂的线性层。但线性的数量是不受限制的

例如，在仅包含卷积层的堆栈周围创建标识快捷方式（请参见下图）。因此，剩余区块中没有任何致密层

因此，一般的答案是：是的，它会起作用。然而，在一个特定的神经网络中，将两个密集层减少为一个可能是一个坏主意，因为无论如何，残差块必须足够灵活以学习残差函数。因此，请记住验证您提出的任何设计