Math 如何为高斯过程(GP)选择合适的核?

Math 如何为高斯过程(GP)选择合适的核?,math,machine-learning,Math,Machine Learning,我知道在GP中,与SVM不同,内核是度量一个点和一个给定点之间的相似性。然而,对于内核选择是否有一个通用的指导原则?或者有没有介绍流行内核特性的材料(比如平方指数内核) 顺便说一句,林博士(LIBSVM工具箱的作者)解释了为什么RBF内核可能是SVM的首选,那么有人能告诉我为什么SE内核在GP中如此流行吗 我想你已经提到了人们对高斯过程的一些常见问题。我会尽力回答他们: 模型选择:模型选择是GPs的一个重要方面。这通常由用户决定,因为他们往往是特定于应用程序的。这可能是一个问题,因为用户可能不是

我知道在GP中,与SVM不同,内核是度量一个点和一个给定点之间的相似性。然而,对于内核选择是否有一个通用的指导原则?或者有没有介绍流行内核特性的材料(比如平方指数内核)


顺便说一句,林博士(LIBSVM工具箱的作者)解释了为什么RBF内核可能是SVM的首选,那么有人能告诉我为什么SE内核在GP中如此流行吗

我想你已经提到了人们对高斯过程的一些常见问题。我会尽力回答他们:

模型选择:模型选择是GPs的一个重要方面。这通常由用户决定,因为他们往往是特定于应用程序的。这可能是一个问题,因为用户可能不是GP内核专家,如果我们为数据选择了一个糟糕的模型,那么我们不可避免地会得到糟糕的预测性能。不过,在这方面已经做了一些尝试。如果您阅读了第5.2章,它将讨论贝叶斯模型选择,这将对您有所帮助

有用的内核:有很多关于内核以及何时使用它们的有用文献。然而,如果您知道一些基本内核并了解如何组合它们,那么您实际上可以生成非常复杂的ML系统。David Duvenaud为你提供了一个很好的资源,可以帮助你了解这些问题

径向基函数vs平方指数:这不必要地混淆了很多人——他们是同一件事!这个通用内核一直在使用,有很多名字。然而,称之为“平方指数”,风险自负,因为这实际上是一个不准确但常用的术语。尼尔·劳伦斯(Neil Lawrence)是众多GP之神之一,他说我们不应该再称它为“平方指数”内核,而应该称它为“指数二次”内核。

更新到内核cookbook链接到我的烹饪书,哈哈