Optimization 优化算法与回归模型

目前，我正在处理预测问题。我有一个引用，它使用线性函数来表示输入和输出数据

y=po+p1.x1+p2.x2

x1和x2都是已知输入；y为输出；p0、p1和p2是系数。然后，他使用所有的训练数据和最小二乘估计（LSE）方法找到最佳系数（p0、p1、p2）来建立模型

---

我的问题是，如果他已经使用了LSE算法，我是否可以尝试通过使用任何优化算法（例如PSO或GA）来改进他的方法，以找到更好的系数值？

您自己回答了这个问题：

然后，他使用所有的训练数据和最小二乘估计（LSE）方法找到最佳系数（p0、p1、p2）来建立模型

由于线性模型很容易优化，LSE方法获得了全局最优值（忽略细微的舍入误差和早期停止/公差误差）。在不改变模型的情况下，在使用其他系数方面没有任何收益，这与GA等元启发式算法的使用无关

因此，您可以修改模型，或添加其他数据（特征工程：例如，两个变量的乘积；内核方法）

有一件事需要尝试：支持向量机。它们也是凸的，可以有效地进行训练（不需要太多数据）。它们也被设计成可以很好地与内核一起工作。另外一个优势（与更复杂的模型相比：例如非凸模型）：它们在泛化方面非常好，这在这里似乎很重要，因为您没有太多数据（听起来像是一个非常小的数据集）

---

另见@ayhan的评论

数据集的大小是多少？如果它不是很大，你可能有最佳的解决方案。它不是太大，大约200个用于训练，50个用于测试。是否没有其他方法来改进该方法？您正在尝试最小化损失函数。对于最小二乘法，它是一个二次损失函数，具有很好的性质（可微）。所以是的，对于这样大小的数据集，这些系数的误差最小，这是肯定的。如果你定义自己的损失函数很难最小化（非凸、约束等），你可以尝试遗传算法或其他启发式方法，但在这种情况下，它不会有帮助。如果你想进一步减少错误，你应该专注于改进你的模型（添加新的变量等）。使用此模型，您将得到均方误差。谢谢您的回答！那么我会努力改进我的模型。