Machine learning 为什么神经网络中的激活函数取这么小的值?

Machine learning 为什么神经网络中的激活函数取这么小的值?,machine-learning,neural-network,computer-vision,Machine Learning,Neural Network,Computer Vision,事实上,即使激活函数的值在-10到10之间,这将使网络更加灵活,在我看来。毕竟,问题不能只在没有合适的公式的情况下出现。请解释我遗漏了什么。神经网络中特定节点的激活函数取前一层的加权和 如果前一层是具有激活功能的层,那么它将只是节点和权重的加权和,这些权重已被每个节点上的前一激活功能偏移。如果此激活函数是压缩函数,如sigmoid,则加权和中的所有操作数在相加之前都会压缩为较小的数 如果在前一层中只有几个节点,那么通过激活函数传递给当前节点的数量可能会很小。但是,如果前一层中的节点数量较大,则该

事实上,即使激活函数的值在-10到10之间,这将使网络更加灵活,在我看来。毕竟,问题不能只在没有合适的公式的情况下出现。请解释我遗漏了什么。

神经网络中特定节点的激活函数取前一层的加权和

如果前一层是具有激活功能的层,那么它将只是节点和权重的加权和,这些权重已被每个节点上的前一激活功能偏移。如果此激活函数是压缩函数,如sigmoid,则加权和中的所有操作数在相加之前都会压缩为较小的数

如果在前一层中只有几个节点,那么通过激活函数传递给当前节点的数量可能会很小。但是,如果前一层中的节点数量较大,则该数量不一定较小

神经网络中激活函数的输入取决于:

  • 上一层的大小
  • 前一层的激活功能
  • 连接这些层的权重值
  • 上一层中节点的值
因此,传递给激活函数的值实际上可以是任何值