Python 大数据集上的广义最小二乘法

我想线性拟合非独立采样的数据。我遇到了广义最小二乘法：

b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Y

方程为Matlab格式

X

和

Y

是数据点的坐标，

V

是“方差矩阵”

---

问题在于，由于其大小（1000行和1000列），V矩阵变得奇异，因此不可逆。有没有关于如何解决这个问题的建议？也许使用一种解决广义线性回归问题的方法而不是GLS？我（稍微）熟悉的可用工具有Numpy/Scipy、R和Matlab。

您可以使用奇异值分解作为求解器。它会尽最大努力的

我通常用另一种方式来考虑最小二乘法。你可以在这里读到我的想法：

看看这是否对你更有效

我不明白尺寸是个什么问题。如果有N个

（x，y）

对，则仍然只需求解M阶多项式中的（M+1）系数：

y = a0 + a1*x + a2*x^2 + ... + am*x^m

而不是：

b=(X'*V^(-1)*X)^(-1)*X'*V^(-1)*Y

使用

也就是说，将

X*（Y^-1）

的所有实例替换为

X/Y

。Matlab将跳过求逆（这很难，而且容易出错），直接计算除法

---

编辑：即使使用最好的矩阵操作，某些操作也是不可能的（例如导致您描述的错误）

一个可能与您的问题相关的例子是，如果尝试在约束条件下解决最小二乘问题，则多个测量值完全100%相关。除非在罕见的退化情况下，否则无论是在数学上还是在物理上，这都是无法实现的。您需要在测量中具有一定的独立性，以考虑测量噪声或建模误差。例如，如果有两个测量值，每个测量值的方差为1，并且完全相关，则

V

矩阵如下所示：

V = [1   1; ...
     1   1];

你永远无法适应这些数据。（这通常意味着您需要重新构造基函数，但这是一篇较长的文章。）

但是，如果您调整度量差异以允许度量之间有少量的独立性，那么它将毫无问题地工作。例如，95%的相关测量结果如下所示

V = [1      0.95; ...
     0.95   1  ];

---

不幸的是，它也崩溃了：“警告：矩阵对于工作精度来说是奇异的。警告：矩阵是奇异的，接近奇异的或比例严重。结果可能不准确。RCOND=NaN。警告：矩阵对于工作精度来说是奇异的。”

V = [1      0.95; ...
     0.95   1  ];