Neural network 神经网络的结构

我在读一篇论文，作者对他们的网络描述如下：

“为了训练相应的深度网络，一个完全连接的网络 使用隐藏层。网络有九个二进制输入节点。隐藏层包含一个sigmoid节点，输出层有一个内积 因此，网络有10个变量。”

---

该网络用于预测连续数（y）。我的问题是，我不了解sigmoid节点后的网络结构。输出层做什么？内积用于什么？

通常，每个神经元的预激活函数是内积（或向量乘法中的点积）和一个加法的组合，以引入偏差。单个神经元可以描述为

z = b + w1*x1 + x2*x2 + ... + xn*xn
  = b + w'*x
h = activation(z)

其中，

b

是一个加性项（神经元的偏差），每个

h

是一层的输出，对应于下一层的输入。在“输出层”的情况下，

y=h

。一个层也可能由多个神经元组成，或者像你的例子中那样，只由单个神经元组成

在所描述的情况下，似乎没有使用偏差。我的理解如下：

对于每个输入神经元

x1

到

x9

，使用单个权重，这里没有什么特别之处。由于有九个输入，因此会产生九个权重，结果如下：

hidden_out = sigmoid(w1*x1 + w2*x2 + ... + w9*x9)

为了将隐藏层连接到输出，同样的规则也适用：对输出层的输入进行加权，然后对所有输入求和。因为只有一个输入，所以只有一个权重需要“求和”，这样

output = w10*hidden_out

---

请记住，sigmoid函数将其输入压缩到0..1的输出范围，因此将其与权重相乘可将其重新缩放到所需的输出范围。

如果可能，我认为最好提供纸张