Neural network 神经网络真的被抛弃了吗？

我计划使用神经网络在强化学习算法中近似值函数。我想这样做是为了在如何表示状态和动作方面引入一些通用性和灵活性

现在，在我看来，神经网络是实现这一点的正确工具，但我在这里的知名度有限，因为我不是人工智能专家。特别是，最近神经网络似乎正在被其他技术所取代，例如支持向量机，但我不确定这是否是一个时尚问题，或者神经网络中是否存在一些真正的限制，可能会毁掉我的方法。你有什么建议吗

谢谢，

---

Tunnuz

神经网络是逼近复杂函数的一种不错的通用方法，但它们很少是任何特定学习任务的最佳选择。它们很难设计，收敛速度慢，陷入局部极小

---

如果你没有使用神经网络的经验，那么你可能会更乐意使用一种更直接的方法来推广RL，比如粗编码。

的确，神经网络不再像以前那样流行，但它们几乎没有消亡。它们不受欢迎的一般原因是数据流的兴起，因为它们是全局收敛的，并且需要的参数规格更少

然而，支持向量机的实现非常繁重，不像人工神经网络那样自然地推广到强化学习（支持向量机主要用于离线决策问题）

如果你的任务似乎适合某个人，我建议你坚持使用人工神经网络，因为在强化学习领域，人工神经网络在性能上仍然处于领先地位

)；只需查看标题为“时差学习”的部分，因为这是人工神经网络解决强化学习问题的标准方法

---

但有一点需要注意：机器学习的最新趋势是通过网络将多种不同的学习代理结合使用。虽然我在强化学习中没有看到这么多，但我相信使用这种策略仍然比单独使用ANN强大得多。但除非你真的需要世界级的性能（这是netflix竞争的赢家），否则我会避开这种极其复杂的技术。

在我看来，神经网络似乎正在卷土重来。比如今年。我绝对不会认为它们是废弃软件。也就是说，我不会将它们用于强化学习。

理论上已经证明，神经网络可以逼近任何函数（给定无限多个隐藏的神经元和必要的输入），因此不，我认为神经网络永远不会被抛弃

支持向量机是伟大的，但它们不能用于所有应用，而神经网络可以用于任何目的

将神经网络与强化学习结合使用是标准且众所周知的，但要小心绘制和调试神经网络的收敛性，以检查其是否正确工作，因为众所周知，神经网络难以正确实现和学习

---

对于你给你的神经网络（即：输入节点）的问题的表示也要非常小心：如果你给你的网络输入什么，你能或专家解决这个问题吗？通常，实现神经网络的人没有提供足够的信息让神经网络进行推理，这并不少见，所以要小心。

SVM实现难度的争论没有意义，因为库承担了所有的重担。在某些情况下，你是正确的，但肯定不是所有的。他没有提到他的编程语言或动机，所以手工实现也不是不可能的。全球收敛？如果没有无限的参数，任何近似技术都不能保证全局收敛。那么你应该说明，当要近似的函数是凸函数时，全局收敛是有保证的。但这只是一个特例。通常，任何近似技术（无论使用何种工具）都只能保证近似误差在紧致（有限）区域内有界。在这个区域之外，关于近似误差没有什么可说的。如果要增加此近似区域的大小，则需要放置更多参数。当近似区域趋向于整个空间时，参数的数量趋向于无穷大；浏览完之后，我们似乎只是擦肩而过。我从来没有暗示支持向量机可以在所有输入值上完美地建模任意函数；正如你所指出的，没有合理的算法可以做到这一点。我只是声称支持向量机避免了局部最优的问题，这可以说是向全局最优收敛。你在导言中引用的那篇论文支持了这一观点。