Python 优化问题的神经网络

假设我训练了一个神经网络，它接受一些输入并精确地计算它们的值。该神经网络用于逼近难以解析求解或使用其他方法模拟的函数。这是一个非常精确的函数逼近器。现在我想知道返回最高值的最佳输入是什么。我在想，我可以用遗传算法来做这件事，但是有没有神经网络方法来做这件事呢？是否有可能同时训练神经网络并找到最优输入？什么样的网络架构可以做到这一点？

好吧，一个直接的解决方案是对每一层应用微积分，并求解任何局部最小值或最大值（假设没有那么多变量）。但我不认为这个解决方案（或类似的优化方法）是神经网络的正确使用

神经网络被设计来模仿cat。给出输入X和预期输出Y，优化一个猜测“接近”Y的函数。这是神经网络的本质。一个孤立的优化问题提出了一个根本不同的问题。给定一组近似于某个基本函数的数据，找出单一的“最佳”解决方案。这样的问题是在一组数据中寻找单个案例（或孤立的离散案例）

如果你想用神经网络的解决方案来表达一个优化问题，它看起来是这样的。给定一组近似函数（数百万个经过训练的神经网络）和已知的优化解（每个函数的预期解），训练一个新的神经网络来模拟这种行为。这当然可以做到，但感兴趣的函数集合需要某种边界；训练一个“普遍”适用于所有可能的优化问题的单一神经网络肯定是不可能的。这将解决优化理论的整个领域

例如，对于a、B、C和D的随机分布，给定形式为Asin（Bx+C）+D的函数集合；找到最大值。或者数一数最大值和最小值。这些都是神经网络可以在数据集中看不见的函数上学习的很好的例子。神经网络甚至可以很好地学习基本行为，从而可以处理初始数据集之外的系数

当然，人们可以开始建立一个大规模的优化神经网络集合，用于各种不同问题的数百万种不同情况。这样的“神经网络动物园”可以解决所有的优化理论