Neural network 线性与非线性神经网络？

我不熟悉机器学习和神经网络。我知道如何建立一个非线性分类模型，但我目前的问题是连续输出的。我一直在寻找有关神经网络回归的信息，但我所遇到的只是关于线性回归的信息，而与非线性案例无关。这很奇怪，因为为什么会有人用神经网络来解决简单的线性回归呢？这不就像用核弹杀死一只苍蝇吗

所以我的问题是：是什么使神经网络非线性？（隐藏层？非线性激活函数？）还是我对“线性”一词的理解完全错误？线性回归NN能否准确地建模比y=aX+b更复杂的数据集？“线性”一词的用法是否与“逻辑”相反

---

（我计划使用TensorFlow，但是TensorFlow线性模型教程使用了一个二元分类问题作为例子，所以这对我也没有帮助。）

对于初学者，神经网络可以对任何函数（不仅仅是线性函数）建模看看这个-

神经网络具有非线性激活层，这使神经网络具有非线性元素

---

将输入和输出关联起来的函数由神经网络及其训练量决定。如果你提供了两个线性关系的变量，那么只要你不过度拟合，你的人际网络就会知道这一点。类似地，一个足够复杂的神经网络可以学习任何函数。

当涉及到非线性回归时，这是指权重如何影响输出。如果一个函数相对于权重不是线性的，那么你的问题就是一个非线性回归问题。例如，让我们看一个有一个隐藏层的前馈神经网络，其中隐藏层中的激活函数是一些函数，而输出层有线性激活函数。鉴于此，数学表示可以是：

在这里，我们假设可以用这个符号对标量和向量进行运算，使它变得简单，和是你打算用回归估计的权重。如果这是线性回归，则等于z，因为这将使y线性依赖于&。但是如果是非线性的，比如说，那么现在y是非线性地依赖于权重的

---

现在，如果你们理解了所有这些，我很惊讶你们还并没有看到关于非线性的讨论，因为这几乎是所有人在教科书和研究中谈论的。使用随机梯度下降、非线性共轭梯度、RProp和其他方法有助于找到这些非线性回归问题的局部极小值（希望是好的局部极小值），即使通常无法保证全局最优。

从输入到输出的任何非线性都会使网络非线性。在我们通常思考和实现神经网络的方式中，这些非线性来自激活函数

如果我们试图拟合非线性数据，并且只有线性激活函数，我们对非线性数据的最佳近似将是线性的，因为这是我们所能计算的。您可以看到一个示例，其中一个神经网络试图仅使用线性激活函数来拟合非线性数据

---

然而，如果我们将线性激活函数更改为非线性函数，如ReLu，那么我们可以看到数据的更好的非线性拟合。你可以看到。

我也经历了同样的挣扎，大多数在线课程都使用人工神经网络进行分类，但你从来没有在课程中用它们解决过回归问题

什么使ANN非线性？激活功能。

即使你有一个拥有数千个感知机和隐藏单元的神经网络，如果所有的激活都是线性的（或者根本没有激活），你只是在训练一个简单的线性回归

但要小心，某些激活函数（如sigmoid）具有一系列值，这些值充当线性函数，即使使用非线性激活，您也可能会被线性模型卡住

如何用人工神经网络预测连续产量？与分类时的方式相同。

这是同样的问题，您只需反向传播错误（标签预测）并更新权重。但别忘了将输出层的激活功能更改为连续功能（如果所有标签均为正数或根本不激活输出，则可能重新设置），中间隐藏层可以按您的意愿激活

对于ANN的小型回归问题，您可能需要从非常小的学习率开始，因为会有很多差异，因为误差最初是“无界的”

---

希望这有帮助：）

因为激活是w*x，这是线性操作，所以需要额外的元素使其非线性。

我不想不礼貌，但当前的答案都与线性激活函数产生的非线性ND多项式有关。就这个问题而言，这根本没有意义

我得到了这一点，因为你将有一个多项式作为目标函数来最小化系数，系数是层系数的乘积，乘积是非线性的。无论如何，如果没有任何额外的约束，这样的系统将永远无法收敛，也毫无意义

所描述的系统不仅是完全不必要的非线性，而且是不适定的。不要为那些导致荒谬的事情争论。原来的问题实际上完全解决了

建立一个分层的“线性神经网络”，并尝试像往常一样使用它。。。然后你会意识到这是行不通的，你浪费了你的时间。 所以除非有充分的理由相信这种不适的事情已经得到了处理，否则我会