Algorithm 寻找神经网络的最优学习规则

对于给定的问题，例如多类别分类，您如何找到最佳的学习规则

---

我曾考虑使用遗传算法，但我知道在性能方面存在一些问题。我正在寻找你没有使用课本学习规则的真实例子，以及你是如何找到这些学习规则的。

好问题，顺便说一句

分类算法可以使用许多特征进行分类，如：

算法最喜欢什么（或者最适合此算法的数据类型）

培训费用。（培训需要很多时间吗）

什么时候有效。（大数据-中等数据-少量数据）

它所能提供的分析的复杂性

因此，对于您的问题，对多个类别进行分类我将使用在线逻辑回归（来自SGD），因为它非常适合中小型数据量（少于数千万个训练示例），而且速度非常快

另一个例子：

假设您必须对大量文本数据进行分类。然后，天真的贝叶斯就是你的孩子。因为它非常喜欢文本分析。即使是SVM和SGD也更快，正如我所经历的那样，更容易训练。但是，当数据大小被认为是中等或较小而不是较大时，可以应用这些规则“SVM和SGD”

一般来说，任何数据挖掘人员在开始任何ML或简单的挖掘项目时都会问自己上述四点

之后，您必须测量其AUC，或任何相关参数，以查看您做了什么。因为您可能在一个项目中使用多个分类器。或者有时，当您认为您已经找到了完美的分类器时，使用某些测量技术的结果似乎并不理想。因此，你将再次开始检查你的问题，以找出你错在哪里

---

希望我能帮上忙。

当你向网络输入一个向量

x

时，网络将根据所有权重给出一个输出（向量

w

）。输出和真实答案之间会有错误。平均误差（

e

）是

w

的函数，比如

e=F（w）

。假设您有一层二维网络，

F

的图像可能如下所示：

当我们谈论培训时，我们实际上是在讨论如何找到使

e

最小的

w

。换句话说，我们正在搜索函数的最小值训练就是搜索

所以，您的问题是如何选择要搜索的方法。我的建议是：这取决于

F（w）

表面的外观。波浪越大，应使用更随机的方法，因为基于梯度下降的简单方法将有更大的机会引导你陷入局部最小值-因此你失去了找到全局最小值的机会。另一方面，如果

F（w）

的表面看起来像一个大坑，那么忘记遗传算法。在这种情况下，一个简单的反向传播或任何基于梯度下降的方法都会很好

您可能会问，我如何知道曲面的外观？这是一种经验技巧。或者您可能希望随机采样一些

w

，然后计算

F（w）

，以获得曲面的直观视图