Machine learning 与支持向量机相比，人工神经网络有哪些优势？

人工神经网络（ANN）和支持向量机（SVM）是两种流行的有监督机器学习和分类策略。通常不清楚哪种方法更适合某个特定的项目，我确信答案总是“视情况而定”。通常，这两种方法结合使用以及贝叶斯分类

关于ANN vs SVM，已经提出了关于Stackoverflow的以下问题：

在这个问题中，我想特别了解ANN（特别是多层感知器）的哪些方面可能使其优于SVM？我之所以问这个问题，是因为很容易回答相反的问题：支持向量机通常优于人工神经网络，因为它们避免了人工神经网络的两个主要弱点：

（1） 人工神经网络通常收敛于局部极小值，而不是全局极小值，这意味着它们有时基本上“忽略了全局”（或者忽略了森林而忽略了树木）

（2）如果训练持续时间过长，ANN往往会过度拟合，这意味着对于任何给定的模式，人工神经网络可能会开始将噪声视为模式的一部分。

---

支持向量机不会遇到这两个问题中的任何一个。然而，支持向量机是否能够完全替代人工神经网络还不清楚。那么，与支持向量机相比，人工神经网络有什么特别的优势，可以使其适用于某些情况呢？我已经列出了支持向量机相对于人工神经网络的具体优势，现在我想看看人工神经网络的优势列表（如果有的话）。

根据您提供的示例判断，我假设人工神经网络指的是多层前馈网络（简称FF网络），例如多层感知器，因为它们与支持向量机直接竞争

与支持向量机相比，这些模型的一个特殊优点是它们的大小是固定的：它们是参数模型，而支持向量机是非参数模型。也就是说，在ANN中，你有一堆大小为h1到hn的隐藏层，这取决于特征的数量，加上偏差参数，这些构成了你的模型。相比之下，支持向量机（至少是核化支持向量机）由一组从训练集中选择的支持向量组成，每个支持向量都有一个权重。在最坏的情况下，支持向量的数量正好是训练样本的数量（尽管这主要发生在小训练集或退化情况下），并且通常其模型大小是线性的。在自然语言处理中，支持向量机分类器拥有数万个支持向量，每个支持向量都有数十万个特征，这并非闻所未闻

此外，与在线SVM拟合相比，FF网络的预测非常简单，并且预测速度可以快得多

---

编辑：以上所有内容都属于核化支持向量机的一般情况。线性支持向量机（SVM）是一种特殊的情况，因为它们是参数化的，并且允许使用简单的算法（如随机梯度下降）进行在线学习。

< P>我们还应该考虑SVM系统可以直接应用于非度量空间，例如标记图或字符串集。事实上，只要满足内核的正定性要求，内部核函数可以适当地推广到几乎任何类型的输入。另一方面，为了能够在一组标记图上使用ANN，必须考虑显式嵌入过程。

需要注意的一点是，两者实际上非常相关。线性支持向量机等价于单层神经网络（即感知机），多层神经网络可以用支持向量机表示。有关详细信息，请参见。

与支持向量机相比，人工神经网络的一个明显优势是，人工神经网络可以有任意数量的输出，而支持向量机只有一个输出。使用支持向量机创建n元分类器最直接的方法是创建n个支持向量机，并逐个训练它们。另一方面，使用神经网络的n元分类器可以一次性训练。此外，神经网络将更有意义，因为它是一个整体，而支持向量机是孤立的系统。如果输出是相互关联的，这尤其有用

---

例如，如果目标是对手写数字进行分类，那么十个支持向量机就可以了。每个支持向量机只能识别一个数字，而无法识别所有其他数字。因为每一个手写数字都不能包含比其类别更多的信息，所以尝试用人工神经网络解决这个问题是没有意义的

---

然而，假设目标是将一个人的激素平衡（几种激素）建模为易于测量的生理因素的函数，如自上次进餐以来的时间、心率等。。。由于这些因素都是相互关联的，人工神经网络回归比支持向量机回归更有意义。

如果你想使用核支持向量机，你必须猜测核。然而，ANN是通用的近似器，只需猜测宽度（近似精度）和高度（近似效率）。如果您正确地设计了优化问题，您就不会过度拟合（请参阅参考文献中的过度拟合）。它还取决于训练示例是否正确且一致地扫描搜索空间。宽度和深度发现是整数规划的主题

假设在I=[0,1]上有界函数f（.）和有界普适逼近器，范围为I=[0,1]，例如，它们由紧支撑U（，a）的实序列参数化，其性质是存在一个具有

lim sup { |f(x) - U(x,a(k) ) | : x } =0

然后绘制示例和测试

（x，y）

，在

IxI

上有一个分布D

对于指定的支持，您要做的是找到最好的

sum {  ( y(l) - U(x(l),a) )^{2} | : 1<=l<=N } is minimal

---

sum{（y（l）-U（x（l），a））^{2}|：1我在这里缺少一个答案：
多个