Neural network 神经网络层的单元是独立的吗?

Neural network 神经网络层的单元是独立的吗?,neural-network,correlation,covariance,Neural Network,Correlation,Covariance,在神经网络中,定义了输入层、隐藏层和输出层三个主要部分。隐藏层的单位之间是否存在相关性?例如,对于隐藏层的第一和第二神经元,它们是相互独立的,还是相互之间存在关系?是否有任何来源可以解释这个问题? 答案取决于许多因素。从概率角度来看,它们是独立的给定输入和训练前的。如果输入是不固定的,那么它们是高度相关的(作为同一输入信号的两个“几乎线性”函数)。最后,经过训练后,它们将具有很强的相关性,确切的相关性将取决于初始化和训练本身。答案取决于许多因素。从概率角度来看,它们是独立的给定输入和训练前的。如

在神经网络中,定义了输入层、隐藏层和输出层三个主要部分。隐藏层的单位之间是否存在相关性?例如,对于隐藏层的第一和第二神经元,它们是相互独立的,还是相互之间存在关系?是否有任何来源可以解释这个问题?
答案取决于许多因素。从概率角度来看,它们是独立的给定输入和训练前的。如果输入是不固定的,那么它们是高度相关的(作为同一输入信号的两个“几乎线性”函数)。最后,经过训练后,它们将具有很强的相关性,确切的相关性将取决于初始化和训练本身。

答案取决于许多因素。从概率角度来看,它们是独立的给定输入和训练前的。如果输入是不固定的,那么它们是高度相关的(作为同一输入信号的两个“几乎线性”函数)。最后,在训练之后,它们将是强相关的,精确的相关性将取决于初始化和训练本身