Machine learning 超参数优化随机搜索算法的改进

随机搜索是机器学习中超参数优化的一种可能性。我已经应用随机搜索来搜索带有RBF核的SVM分类器的最佳超参数。除了连续成本和gamma参数外，我还有一个离散参数和一些参数上的等式约束

现在，我想进一步发展随机搜索，例如通过自适应随机搜索。这意味着例如搜索方向或搜索范围的自适应

---

是否有人知道如何做到这一点，或者可以参考一些现有的工作？其他改进随机搜索的想法也很受欢迎。

为什么要尝试重新发明轮子？超参数优化是一个研究得很好的主题，至少有一些最先进的方法可以简单地解决支持向量机的问题，包括：

• 贝叶斯优化（通常通过高斯过程建模模型质量），参见示例bayesopt
• hyperopt中包括（特别是）parzen估计树（有时更适合离散、复杂的超参数空间）

---

要改进随机搜索过程，请参阅

Hyperband是由加州大学伯克利分校AMP实验室提出的一种方法，旨在提高随机搜索等调优方法的效率。

我想补充一点，这是自适应随机搜索的一个完美示例，因此看起来它正是您想要应用的

贝叶斯优化的思想是利用GP对目标函数进行建模，根据当前模型选择下一个最佳点，并在看到实际结果后更新模型。因此，有效地说，贝叶斯优化从随机搜索开始，逐渐构建函数的外观，并将其焦点转移到最有希望的领域（注意，“有希望”可以通过不同的特定方法定义-PI、EI、UCB等）。例如，还有其他技术可以帮助它在勘探和开发之间找到正确的平衡。如果这就是你所说的自适应，那么贝叶斯优化就是你的选择

---

如果您想在没有外部库的情况下扩展代码，这是完全可能的，因为贝叶斯优化并不难实现。您可以查看一下我在中使用的示例代码，例如大部分GP相关代码。

这是一个关于编程问题的网站。你的问题更适合于谢谢你的提示，但我想改进我的随机搜索策略，而不是切换到其他方法。