Statistics 为什么交互属性可以提高线性回归的性能

我正在使用线性回归模型研究Weka。我意识到，通过将数据集中的两个相关属性相乘，并将其作为额外属性添加，可以提高线性回归的性能。

---

然而，我不明白为什么！为什么将两个相关属性相乘会得到更好的结果

这是一个信号，表明您正在逼近的函数在原始输入中不是线性的，但在它们的乘积中是线性的。实际上，你已经重新发明了多元变量

例如，假设你正在逼近的函数的形式为y=a×x²+b×x+c。仅在x上拟合的线性回归模型不会给出很好的结果，但当同时输入x²和x时，它可以学习正确的A和b

在多元设置中也是如此：函数在x1和x2中可能不是线性的，但在x1×x2中可能是线性的，您称之为“交互属性”。（我把它们称为叉积特征或特征连接；它们是支持向量机中多项式核计算的，这就是支持向量机比线性模型学习能力更强的原因。）