Tensorflow 完全连接层尺寸

Tensorflow 完全连接层尺寸,tensorflow,deep-learning,conv-neural-network,nnapi,Tensorflow,Deep Learning,Conv Neural Network,Nnapi,关于卷积神经网络的完全连接层,我有一些不确定性。假设输入是卷积层的输出。我知道上一层是平的。但它能有多个频道吗?例如,完全连接层的输入是否可以是16x16x3 3个通道,并展平为768个元素的向量 接下来,我知道输出的等式是 outputs = activation(inputs * weights' + bias) 每个输入有1个重量吗?例如,在上面的示例中,是否有768个权重 接下来,有多少偏见?每个频道1个,那么3个?1不管怎样?还有别的吗 最后,过滤器如何在完全连接的层中工作?可以有多

关于卷积神经网络的完全连接层,我有一些不确定性。假设输入是卷积层的输出。我知道上一层是平的。但它能有多个频道吗?例如,完全连接层的输入是否可以是16x16x3 3个通道,并展平为768个元素的向量

接下来,我知道输出的等式是

outputs = activation(inputs * weights' + bias)
每个输入有1个重量吗?例如,在上面的示例中,是否有768个权重

接下来,有多少偏见?每个频道1个,那么3个?1不管怎样?还有别的吗


最后,过滤器如何在完全连接的层中工作?可以有多个吗

您可能对完全连接的神经网络的工作原理有误解。为了更好地理解它,你可以查阅一些好的教程,比如斯坦福大学的在线课程

回答您的第一个问题:是的,无论您有什么尺寸,在发送到完全连接的层之前都需要将其展平

要回答第二个问题,您必须了解完全连接层实际上是一个矩阵乘法然后向量加法的过程:

输入^T*权重+偏差=输出

其中,输入的尺寸为1xIN,权重为大小INxOUT,输出的尺寸为1xOUT,因此,输入的尺寸为1xIN*INxOUT=1xOUT。总的来说,每个输入都有INxOUT权重和OUT权重。您还需要去掉偏差,这样整个方程就是1xIN*INxOUT+1xOUTbias项

没有过滤器,因为你没有做卷积


请注意,完全连接层也等同于1x1卷积层,并且许多实现稍后用于完全连接层,这可能会让初学者感到困惑。有关详细信息,请参阅

好的,谢谢,我认为这很有意义。这里“不”是什么意思?忘了这一点,我最初添加它是为了表示矩阵的转置,但我们不再需要它了。