Machine learning 神经网络中的神经元在哪里分享他们的预测结果(学习函数)?

Machine learning 神经网络中的神经元在哪里分享他们的预测结果(学习函数)?,machine-learning,neural-network,Machine Learning,Neural Network,当然是一个noob NN问题,但这里是: 我知道神经网络层中的神经元都以不同的(基本上是随机的)输入特征权重初始化,以此改变其反向传播结果,从而可以收敛到描述输入数据的不同函数。然而,我不理解这些神经元何时或如何生成独特的函数来描述输入数据,就像集成ML方法中所做的那样(例如,通过随机初始决策标准种植一片树木森林,然后确定森林中最具辨别力的模型)。在trees集成示例中,所有树一起工作,以概括每个模型学习的规则 神经元如何、在何处、何时传递其预测功能?我知道单个神经元使用梯度下降来收敛到各自的函

当然是一个noob NN问题,但这里是:

我知道神经网络层中的神经元都以不同的(基本上是随机的)输入特征权重初始化,以此改变其反向传播结果,从而可以收敛到描述输入数据的不同函数。然而,我不理解这些神经元何时或如何生成独特的函数来描述输入数据,就像集成ML方法中所做的那样(例如,通过随机初始决策标准种植一片树木森林,然后确定森林中最具辨别力的模型)。在trees集成示例中,所有树一起工作,以概括每个模型学习的规则

神经元如何、在何处、何时传递其预测功能?我知道单个神经元使用梯度下降来收敛到各自的函数,但它们是唯一的,因为它们从唯一的权重开始。他们如何传达这些差异?我想在这种交流发生的输出层中,结合神经元的结果会有一些微妙的行为。此外,这种交流是迭代培训过程的一部分吗

评论部分()有人问了一个类似的问题,但我没有看到答案


非常感谢您的帮助

在传播过程中,每个神经元通常参与下一层多个神经元的值形成。在反向传播中,每一个下一层的神经元都会尝试推动参与神经元的权重,以最小化误差。差不多就是这样

例如,假设您正在尝试使用NN来识别数字。假设一个隐藏层中的神经元开始获得识别垂直线的想法,另一个开始发现水平线,等等。负责查找
1
的下一层神经元将看到,如果想要更精确,它应该注意垂直线;而且水平线的家伙喊得越多,它就越不是
1
。这就是权重的含义:告诉每一个神经元它应该多么关心它的每一个输入。反过来,垂直线的家伙将学习如何更好地识别垂直线,通过调整其输入层的权重(例如单个像素)

(这是相当抽象的。没有人告诉垂直线专家他应该识别垂直线。不同的神经元只是为了不同的事情而训练,凭借所涉及的数学,它们最终选择了不同的特征。其中一个可能是垂直线,也可能不是垂直线。)

同一层上的神经元之间没有“通信”(在基本情况下,各层之间呈线性流动)。这都是关于一层的神经元在预测下一层发现的有用特征方面变得更好


在输出层,
1
的家伙可能会说“我72%确定这是
1
”,而
7
的家伙可能会说“我给那
7
一个B+”,而第三个家伙可能会说“一个可怕的
3
,不会看两次”。相反,我们通常要么听谁的话,要么将输出层标准化(除以所有输出的总和),这样我们就有了实际的可比概率。然而,这种规范化实际上并不是神经网络本身的一部分。

这似乎不是关于编程的问题。@MatiasValdenegro如果编程中机器学习的理论和应用被分成不同的网站(我不认为),请将我引向nn编程理论网站。否则,我很确定这个问题是关于编程的。我问这个问题只是为了了解如何实现nn。当然,请看这里: