Neural network 以y=x为激活函数的单输入单输出神经网络能否反映非线性行为？

我目前正在学习一点关于神经网络的知识。有一个问题我不能真正理解，那就是神经网络是如何反映非线性行为的。根据我的理解，不可能使用神经网络在紧凑的集合中反映非线性行为

例如，如果我从以下位置获取函数：

我会使用一个单输入单输出的神经网络，神经网络对每个紧集所能做的最好的事情[x0…xn]是一个从集的一端到另一端的线性函数，因为在最后，网络中的所有计算都是线性的

---

我对这个概念有误解吗？

神经网络对非线性行为建模的能力来自（通常）非线性激活函数。

---

如果激活函数是线性的，那么训练网络的过程只是创建输入和输出数据的线性（或多线性）拟合的另一种方法

神经网络中的激活函数正是产生非线性的部分。如果使用线性激活函数，则无法训练非线性模型（从而拟合二次函数或其他非线性函数）

我想，你感兴趣的部分是普遍逼近定理，它说任何连续函数都可以用一个具有单个隐藏层的神经网络来逼近（一些关于激活函数的假设被应用）。考虑到这一点，这个定理并没有对这样一个网络的优化做任何说明（它并不能保证你能用一个特定的算法训练这样一个网络，但只能保证这样一个网络的存在）。它也没有说明你应该使用的神经元数量

您可以查看以下链接以获取更多详细信息： 带sigmoid激活功能的原始证明：

---

还有一个更友好的推导：

你好，哈拉尔德，谢谢你的回答！那么，乙状激活函数如何使我们更接近y=x^2的预期行为呢？嗨，Axel，Asakeryukin给出的参考文献很有帮助。用我自己的话和有限的理解：有了偏置神经元的输入和来自输入的x，你已经有了两个超级施加的sigmoid函数。根据间隔的大小，这可能足以（在一定的精度限制内）近似曲线。为了获得更大的x间隔和更高的精度，更多的隐藏层节点将添加更多叠加的片段。具有基函数的函数拟合。。。。

y = x^2