Machine learning 关于;参数数量“;在神经网络中

Machine learning 关于;参数数量“;在神经网络中,machine-learning,neural-network,Machine Learning,Neural Network,NN,当他们在论文中提到“参数数量”时,他们通常是指每层的权重矩阵和每个单元的偏差,激活函数?NN工作不需要其他参数吗 这里有所谓的超参数,它定义了层的数量,每层的单位数量,以及这些单位的激活函数,但是让我们把它们放在一边 我的意思是,如果我们有一百万个参数的非卷积神经网络,这意味着作者计算了网络中使用的权重数和单位数(我假设每个都有偏差,对吗?) 您需要将网络固有参数与训练参数分开。对于给定的拓扑、激活和累积函数(这就是您所称的超参数),唯一剩余的网络固有参数实际上是权重。但是,请注意,没有明

NN,当他们在论文中提到“参数数量”时,他们通常是指每层的权重矩阵和每个单元的偏差,激活函数?NN工作不需要其他参数吗

这里有所谓的超参数,它定义了层的数量,每层的单位数量,以及这些单位的激活函数,但是让我们把它们放在一边


我的意思是,如果我们有一百万个参数的非卷积神经网络,这意味着作者计算了网络中使用的权重数和单位数(我假设每个都有偏差,对吗?)

您需要将网络固有参数与训练参数分开。对于给定的拓扑、激活和累积函数(这就是您所称的超参数),唯一剩余的网络固有参数实际上是权重。但是,请注意,没有明确的理由严格划分这两类参数(“权重”和“超参数”)

此外,还存在训练参数,如梯度下降步骤的步长、动量、正则化(或权重衰减)参数、优化函数(通常为最小二乘法)等。有些人还可能将它们包括在参数集中


因此,我建议您详细了解一下论文中所称的“参数数量”,因为很难相信is在整个文献中都有一致的表述。

这个问题更多的是关于语言而不是实际的代码问题,因此可能更适合这个问题,或者这个问题似乎离题了,因为它是关于神经网络的。谢谢!你完全回答了我的问题。我试图将您的答案设置为“已接受”,但stackoverflow会产生错误。