Math 带噪声的协方差矩阵

Math 带噪声的协方差矩阵,math,machine-learning,Math,Machine Learning,我对这个矩阵有点困惑: 假设:y=f+e,其中y表示最终观测,f表示无噪声数据,而e表示来自N(0,sig^2)的高斯噪声 我们知道训练数据:{(xi,fi)| i=1,…n}。那么y(Ky)的协方差等于f(K(x,x))的协方差加上诊断噪声sig^2*I,其中I是单位矩阵(Ky=K(x,x)+sig^2*I) 有谁能告诉我如何推导它吗?你可以互换地使用f和x,那么f=x?你似乎在谈论随机变量自身的协方差,也就是“方差”。这里没有协方差矩阵,它是一个1x1矩阵,值为“1” 所以你问为什么K(y,

我对这个矩阵有点困惑:

假设:y=f+e,其中y表示最终观测,f表示无噪声数据,而e表示来自N(0,sig^2)的高斯噪声

我们知道训练数据:{(xi,fi)| i=1,…n}。那么y(Ky)的协方差等于f(K(x,x))的协方差加上诊断噪声sig^2*I,其中I是单位矩阵(Ky=K(x,x)+sig^2*I)


有谁能告诉我如何推导它吗?

你可以互换地使用f和x,那么f=x?你似乎在谈论随机变量自身的协方差,也就是“方差”。这里没有协方差矩阵,它是一个1x1矩阵,值为“1”


所以你问为什么K(y,y)=K(x,x)+sig^2?这是因为差异增加了。给出了Var(y)=Var(x+e)=Var(x)+Var(e)和Var(e)=sig^2。根据定义,K(y,y)=Var(y)和K(x,x)=Var(x),你就完成了。你确实是对的。我知道你面临的是什么,因为几年前我也面临同样的困境


在加法模型中将高斯白噪声添加到原始信号时,这实际上意味着噪声向量e的每个元素都会影响信号向量f的相应元素。因此,噪声向量仅影响信号协方差矩阵的对角线,并导致y的协方差。

协方差是两个随机变量之间的关系。你说的“y的协方差”是什么意思?你指的是协方差矩阵,但这里只有两个变量。你是在试图推导协方差(y,f)吗?@Sean Owen谢谢你的帖子,很抱歉我没有准确地描述这个问题。协方差K(x,x)表示无噪声训练数据x的协方差。感谢您的评论。你能解释一下为什么Var(e)=sig^2*I吗?(I是单位矩阵。)在你的例子中,I是“1”。你给出了e是正态分布的,方差为sig^2。所以这些定义是相等的。我理解你的意思。但请你看一下:第16页方程式2.20;协方差写成:cov(yp,yq)=K(xp,xq)+sig^2*kro(p,q),其中kro是Kronecker delta。无意冒犯,但这可能表明:sig^2噪声只会添加到K(x,x)的诊断元素中。y向量而不是标量吗?无意冒犯,但如果你解释你的问题,这会更有意义。该引用与您的问题陈述不同。是的,y和f都是向量而不是标量,因此K(x,x)是一个矩阵。