Optimization “是什么意思？”；用粒子群优化算法优化支持向量机参数；？

我可以手动更改参数C和epsilon以获得优化结果，但我发现存在使用PSO（或任何其他优化算法）的SVM参数优化。没有算法。这意味着什么：PSO如何自动优化SVM参数？我读了几篇关于这个主题的论文，但我仍然不确定。

粒子群优化是一种使用ML参数（在您的例子中是SVM参数）作为其特征的技术

群中的每个“粒子”都以这些参数值为特征。例如，您可能有

   degree  epsilon  gamma   C
p1    3     0.001    0.25  1.0
p2    3     0.003    0.20  0.9
p3    2     0.0003   0.30  1.2
p4    4     0.010    0.25  0.5
...
pn   ...........................

每个粒子的“适合度”（图中显示的p1-p4来自n个粒子的总体）由结果模型的精度来衡量：PSO算法训练并测试每个粒子的模型，将该模型的错误率返回为类似于训练损失函数的值（它说明了如何计算值）

在每次迭代中，粒子都会向最合适的邻域移动。这个过程会重复，直到出现一个最大值（希望是全局最大值）作为收敛点。这个过程只是我们熟悉的梯度下降族中的一个过程

有两种基本的PSO变体。在gbest（全局最佳）中，每个粒子都会影响其他粒子，这有点像万有引力原理。它收敛很快，但很可能会错过全局最大值，而错过恰好更靠近群原始中心的局部最大值。在lbest（局部最佳）中，粒子只对其k近邻作出响应。这可以形成局部簇；它收敛速度较慢，但更有可能在非凸空间中找到全局最大值

---

我会尽量简短地解释，以回答您的澄清问题。如果这不起作用，恐怕您可能需要找人在白板前讨论这个问题

要使用PSO，您必须决定要优化哪些SVM参数，以及要使用多少粒子。PSO是一种元算法，因此其特征是SVM参数。PSO参数是总体（要使用多少粒子，更新邻域）（lbest大小和距离函数；gbest是所有的情况），以及速度（SVM参数的学习率）

为了举例说明，让我们假设上面的粒子表，扩展到20个粒子的总体。我们将使用邻域为4、速度为0.1的lbest。我们选择（随机、在网格中，或者我们认为可能会给我们带来好结果的方式）20个粒子中每个粒子的度、ε、伽马和C的初始值

Each iteration of PSO works like this:
    # Train the model described by each particle's "position"
    For each of the 20 particles:
        Train an SVM with the SVM input and the given parameters.
        Test the SVM; return the error rate as the PSO loss function value.

    # Update the particle positions
    for each of the 20 particles:
        find the nearest 4 neighbours (using the PSO distance function)
        identify the neighbour with the lowest loss (SVM's error rate).
        adjust this particle's features (degree, epsilon, gamma, C) 0.1 of the way toward that neighbour's features.  0.1 is our learning rate / velocity.  (Yes, I realize that changing degree is not likely to happen (it's a discrete value) without a special case in the update routine.

Continue iterating through PSO until the particles have converged to your liking.

---

gbest就是具有无限邻域的lbest；在这种情况下，您不需要粒子空间上的距离函数。

粒子群优化是一种使用ML参数（在您的例子中是SVM参数）作为其特征的技术

群中的每个“粒子”都具有这些参数值的特征

   degree  epsilon  gamma   C
p1    3     0.001    0.25  1.0
p2    3     0.003    0.20  0.9
p3    2     0.0003   0.30  1.2
p4    4     0.010    0.25  0.5
...
pn   ...........................

每个粒子的“适合度”（图中显示的p1-p4来自n个粒子的总体）由结果模型的精度来衡量：PSO算法训练并测试每个粒子的模型，将该模型的错误率返回为类似于训练损失函数的值（它说明了如何计算值）

在每次迭代中，粒子都会向最合适的邻域移动。这个过程会重复，直到出现一个最大值（希望是全局最大值）作为收敛点。这个过程只是我们熟悉的梯度下降族中的一个过程

有两种基本的PSO变体。在gbest（全局最佳）中，每个粒子都会影响其他粒子，这有点像万有引力原理。它收敛很快，但很可能会错过全局最大值，而错过恰好更靠近群原始中心的局部最大值。在lbest（局部最佳）中，粒子只对其k近邻作出响应。这可以形成局部簇；它收敛速度较慢，但更有可能在非凸空间中找到全局最大值

---

我会尽量简短地解释，以回答您的澄清问题。如果这不起作用，恐怕您可能需要找人在白板前讨论这个问题

要使用PSO，您必须决定要优化哪些SVM参数，以及要使用多少粒子。PSO是一种元算法，因此其特征是SVM参数。PSO参数是总体（要使用多少粒子，更新邻域）（lbest大小和距离函数；gbest是所有的情况），以及速度（SVM参数的学习率）

为了举例说明，让我们假设上面的粒子表，扩展到20个粒子的总体。我们将使用邻域为4、速度为0.1的lbest。我们选择（随机、在网格中，或者我们认为可能会给我们带来好结果的方式）20个粒子中每个粒子的度、ε、伽马和C的初始值

Each iteration of PSO works like this:
    # Train the model described by each particle's "position"
    For each of the 20 particles:
        Train an SVM with the SVM input and the given parameters.
        Test the SVM; return the error rate as the PSO loss function value.

    # Update the particle positions
    for each of the 20 particles:
        find the nearest 4 neighbours (using the PSO distance function)
        identify the neighbour with the lowest loss (SVM's error rate).
        adjust this particle's features (degree, epsilon, gamma, C) 0.1 of the way toward that neighbour's features.  0.1 is our learning rate / velocity.  (Yes, I realize that changing degree is not likely to happen (it's a discrete value) without a special case in the update routine.

Continue iterating through PSO until the particles have converged to your liking.

---

gbest只是一个无限邻域的lbest；在这种情况下，你不需要粒子空间上的距离函数。

我无法得到你的答案。在PSO中，速度和位置随迭代而变化。因此，如何使用PSO优化SVM参数，从而获得更好的r结果。最后，我不能理解表格。那么请解释一下你们不理解的地方和部分。所以这不是一个教程网站，也不是我发表一个小时演讲的地方。我已经在我的评论中指出，在PSO方程中