Matrix 最小二乘近似:这个矩阵计算公式是如何推导的?
我正在读一本关于模式分析的核心方法的书。对于最小二乘近似值,应尽量减少差异的平方和: e=y-Xw 因此,它是最小化的 Lw,S=y-Xw'y-Xw 导致 $$w=X'X^-1 X'y$$ 直到现在我才明白。 但它是如何导致这种情况的呢?什么是一个确切的答案?它是常数吗Matrix 最小二乘近似:这个矩阵计算公式是如何推导的?,matrix,least-squares,Matrix,Least Squares,我正在读一本关于模式分析的核心方法的书。对于最小二乘近似值,应尽量减少差异的平方和: e=y-Xw 因此,它是最小化的 Lw,S=y-Xw'y-Xw 导致 $$w=X'X^-1 X'y$$ 直到现在我才明白。 但它是如何导致这种情况的呢?什么是一个确切的答案?它是常数吗 与只在一个变量中求解二次函数的最小值或最大值的方法相同:通过求解一阶导数中的零: diff((y-Xw)' (y-Xw), w) = 0 只是这个0是一个行向量,其元素数与w的元素数相同 执行微分后,我们得到以下结果。注意,'
与只在一个变量中求解二次函数的最小值或最大值的方法相同:通过求解一阶导数中的零:
diff((y-Xw)' (y-Xw), w) = 0
只是这个0是一个行向量,其元素数与w的元素数相同
执行微分后,我们得到以下结果。注意,'是转置,不是微分算子
-2y'X + 2w'X'X = 0
我们转置整个表达式,因此0是一个列向量,并除以2:
-X'y + X'Xw = 0
最后求解w:
w = (X'X)^-1 X'y
关于你的第二个问题:alpha只是整个表达式XX'X^-2X'y。关键是w可以写成X'和某个向量的点积,这意味着w是X'行和X的列的线性组合。为什么等式的标记不起作用?不支持乳胶。