Matrix 最小二乘近似:这个矩阵计算公式是如何推导的?

Matrix 最小二乘近似:这个矩阵计算公式是如何推导的?,matrix,least-squares,Matrix,Least Squares,我正在读一本关于模式分析的核心方法的书。对于最小二乘近似值,应尽量减少差异的平方和: e=y-Xw 因此,它是最小化的 Lw,S=y-Xw'y-Xw 导致 $$w=X'X^-1 X'y$$ 直到现在我才明白。 但它是如何导致这种情况的呢?什么是一个确切的答案?它是常数吗 与只在一个变量中求解二次函数的最小值或最大值的方法相同:通过求解一阶导数中的零: diff((y-Xw)' (y-Xw), w) = 0 只是这个0是一个行向量,其元素数与w的元素数相同 执行微分后,我们得到以下结果。注意,'

我正在读一本关于模式分析的核心方法的书。对于最小二乘近似值,应尽量减少差异的平方和:

e=y-Xw 因此,它是最小化的

Lw,S=y-Xw'y-Xw 导致 $$w=X'X^-1 X'y$$

直到现在我才明白。 但它是如何导致这种情况的呢?什么是一个确切的答案?它是常数吗


与只在一个变量中求解二次函数的最小值或最大值的方法相同:通过求解一阶导数中的零:

diff((y-Xw)' (y-Xw), w) = 0
只是这个0是一个行向量,其元素数与w的元素数相同

执行微分后,我们得到以下结果。注意,'是转置,不是微分算子

-2y'X + 2w'X'X = 0
我们转置整个表达式,因此0是一个列向量,并除以2:

-X'y + X'Xw = 0
最后求解w:

w = (X'X)^-1 X'y

关于你的第二个问题:alpha只是整个表达式XX'X^-2X'y。关键是w可以写成X'和某个向量的点积,这意味着w是X'行和X的列的线性组合。

为什么等式的标记不起作用?不支持乳胶。