Algorithm 无约束优化方法及其收敛性

我是凝聚态物理学的学生。我遇到了许多需要全局优化的问题，例如

为给定组件找到最稳定的晶体形式

。 这些问题可以概括为（我认为是NP难）：

1） 给定一个函数

f（x1，x2，x3，…）

，它是一个完全黑盒，有时计算起来很昂贵

2） 给定一个离散的区域

S

3） 查找函数的全局最大值

f

我知道有很多算法，比如

进化算法

，

粒子群优化

，

模拟退火

，如果

f（x）

不是很昂贵，我可以用一些点来训练

神经网络

，以及

元动力学

，但我想知道：

1） 还有更多的算法可以做同样的事情吗

2） 这些算法的收敛性和收敛速度如何？我发现一些论文说，这些算法大多收敛，但与整个空间上的残酷搜索相比，它们收敛的速度有多快

---

非常感谢能够提供上述问题相关信息或从何处找到相关信息的人。

硬度理论的一般工作方式是，如果你能证明所研究的算法可以用于解决已知的难题，那么该算法就不能保证正确性和易处理性，计算机时间（否则我们会有P=NP，这被认为是不正确的，尽管目前还没有证据）。现在有大量的NP完全和NP难问题。为了您的目的，请特别注意这是其中之一。对于一个组合问题，得到一个在组合问题的解中具有全局最小值的连续函数通常是相当容易的，因此，如果你能在连续问题中找到全局最小值，你就可以解决这个困难的组合问题

数值分析书籍中有很多方法，在合理的假设条件下，这些方法采用导数并快速收敛到局部最优。还有Torczon Simplex，它具有合理假设的收敛性证明，但不需要导数。（参见中的，另请参见）。这里的问题是，收敛性被证明是局部最优的，并且可能存在指数级的多个局部最优。请注意，即使SUM_i（X_i^2-1）^2具有指数级的局部最优解，尽管它们都产生相同的值。一个想法是从随机的起始位置反复收敛，并选择找到的最佳答案，但很明显，找到全局最优的机会可能很小

---

模拟退火及其变体有一个收敛到全局最优的证明，但如果你看看它是如何被证明的，它归结为如果你让程序运行足够长的时间，它最终会在正确的答案上绊倒，因此收敛时间随着问题的大小呈指数增长，并且是相同的顺序（或更糟）而不是从多个随机起点反复收敛到局部最优。这里的假设——特别是你正在优化一个随机函数——也可能证明定理，表明这些奇异的方法有其自身的弱点，或者至少没有一个最佳的通用算法。

谢谢大家！我发现这句话解决了我想的问题

而元启发式算法无法证明算法的最优性 他们发现的解决方案、精确的程序（如果允许运行足够长的时间，理论上可以提供这样的证明）通常无法找到质量接近领先的元启发式方法所获得的解决方案，尤其是对于现实世界中的问题，这些问题往往达到非常高的复杂性

摘自格洛弗、弗雷德·W.和加里·A·科钦伯格主编的《超启发式手册》，第57卷，《斯普林格科学与商业媒体》，2006年

---

（犯了一个愚蠢的错误，没有复制整个句子，现在它已经完成了）

这可能会在上得到（更好的）答案。但是在发布之前，（a）检查问题是否在那个地方，并且（b）删除这个版本，所以不喜欢交叉发布问题。对于一般问题，不使用先验信息（你的大多数方法都假设了一些东西，比如光滑度和其他。）它们实现了完全相同的收敛性/或者我们称之为蛮力的渐近复杂性（假设NP硬度；在这种情况下由离散区域引入）！即使对于一些结构化问题，分析收敛性也是非常困难的（这样做可能不可行/获得好的边界）！非常感谢，伙计！我认为搜索和优化中的

无免费午餐

定理总结了这一切。这句话是不完整的，甚至不是一句英语句子，也不能真正回答你的问题。如果你进行网络搜索，你可以在上下文中看到它-它来自本书的前言。它继续着…通常被证明无法找到它ng解决方案，其质量接近于领先的元启发式算法所获得的质量，特别是对于现实世界中的问题，这些问题通常具有非常高的复杂性。