Machine learning 神经网络正向传播中的点积

Machine learning 神经网络正向传播中的点积,machine-learning,neural-network,Machine Learning,Neural Network,在神经网络正向传播中,当计算权重和输入之间的点积时,哪一个先出现?方法1)或方法2) 1) 重量.点(输入)+偏差 2) 输入点(重量)+偏差 这两种方法我都见过。我很困惑。两个向量的点积是可交换的。不管是输入.dot(重量)还是weight.dot(输入) 来源:两个向量的点积是可交换的。不管是输入.dot(重量)还是weight.dot(输入) 来源:两者之间的区别在于点积中的权重和输入之间的顺序。然而,点积运算的性质表明顺序无关紧要;不管怎样,结果都是一样的 也就是说,Weight.dot

在神经网络正向传播中,当计算权重和输入之间的点积时,哪一个先出现?方法1)或方法2)

1) 重量.点(输入)+偏差

2) 输入点(重量)+偏差


这两种方法我都见过。我很困惑。

两个向量的点积是可交换的。不管是输入.dot(重量)还是weight.dot(输入)


来源:

两个向量的点积是可交换的。不管是输入.dot(重量)还是weight.dot(输入)


来源:

两者之间的区别在于点积中的权重和输入之间的顺序。然而,点积运算的性质表明顺序无关紧要;不管怎样,结果都是一样的

也就是说,
Weight.dot(输入)+Bias
是我最熟悉的

从数学的角度来看,你可能会考虑<代码>砝码.DOT(输入)作为权重的方法被认为是系数,因此出现第一个是最有逻辑意义的。p> 从方案的角度来看,这将在很大程度上取决于执行情况;最好在输入对象上调用

dot()
方法,而不是权重


请务必注意,所选参数与不相同。正如您所指出的,矩阵乘法不一定是可交换的。我主要使用的库Tensorflow使用实现矩阵乘法。在神经网络的实现中,如果权重始终用作第二个参数,则表明在这种情况下首选第二种方法。

两者之间的区别在于点积中权重和输入之间的顺序。然而,点积运算的性质表明顺序无关紧要;不管怎样,结果都是一样的

也就是说,
Weight.dot(输入)+Bias
是我最熟悉的

从数学的角度来看,你可能会考虑<代码>砝码.DOT(输入)作为权重的方法被认为是系数,因此出现第一个是最有逻辑意义的。p> 从方案的角度来看,这将在很大程度上取决于执行情况;最好在输入对象上调用

dot()
方法,而不是权重


请务必注意,所选参数与不相同。正如您所指出的,矩阵乘法不一定是可交换的。我主要使用的库Tensorflow使用实现矩阵乘法。在提供权重的神经网络实现中,始终将权重用作第二个参数,这表明在这种情况下,第二种方法更可取。

谢谢。我同意当权重和输入是向量时,顺序并不重要。但当它们是矩阵时,序列就很重要了。我想这也会影响梯度下降的推导,因为矩阵乘法和点积之间有一个区别,我认为这引起了一些混乱。为了充分肯定,我看了Tensorflow的例子,权重总是第二个使用。我会在回答中记下的。谢谢。我同意当权重和输入是向量时,顺序并不重要。但当它们是矩阵时,序列就很重要了。我想这也会影响梯度下降的推导,因为矩阵乘法和点积之间有一个区别,我认为这引起了一些混乱。为了充分肯定,我看了Tensorflow的例子,权重总是第二个使用。我会在回答中注意到这一点。我投票结束这个问题,因为它不是关于在中定义的编程,而是关于ML理论和线性代数。我投票结束这个问题,因为它不是关于在中定义的编程,而是关于ML理论和线性代数。