Statistics akaike信息标准(AIC)是否依赖于单位?

Statistics akaike信息标准(AIC)是否依赖于单位?,statistics,modeling,Statistics,Modeling,AIC的一个公式是: AIC=2k+n*日志(RSS/n) 直观地说,如果您向模型中添加一个参数,那么如果由于新参数而导致的2k项的增加被由于剩余平方和减少而导致的n*Log(RSS/n)项的减少所抵消,则AIC将减少(因此您应该保留该参数)。但是这个RSS值单位不是特定的吗?因此,如果我在为钱建模,我的单位是数百万美元,RSS中添加参数的变化可能非常小,并且不会抵消2k项的增加。相反,如果我的单位是便士,RSS的变化将非常大,并且可以大大抵消2k项的增加。这种单位的任意更改将导致我决定是否保留

AIC的一个公式是:

AIC=2k+n*日志(RSS/n)

直观地说,如果您向模型中添加一个参数,那么如果由于新参数而导致的2k项的增加被由于剩余平方和减少而导致的n*Log(RSS/n)项的减少所抵消,则AIC将减少(因此您应该保留该参数)。但是这个RSS值单位不是特定的吗?因此,如果我在为钱建模,我的单位是数百万美元,RSS中添加参数的变化可能非常小,并且不会抵消2k项的增加。相反,如果我的单位是便士,RSS的变化将非常大,并且可以大大抵消2k项的增加。这种单位的任意更改将导致我决定是否保留额外参数的更改

那么:RSS是否必须是标准化单位,AIC才能成为有用的标准?我看不出有什么不同

不,我不这么认为(我在前面的评论中部分地反驳了我所说的话)。对于最简单的可能情况(y=ax+b的最小二乘回归),从,RSS=Syy-a x Sxy

根据那篇文章给出的定义,如果你把y的单位从美元改为美分,那么a和Sxy都增长了100倍,Syy增长了1002倍。因此,在重新缩放后,该模型的新RSS将是旧RSS的1002倍。我非常确信,对于具有K2参数的模型,同样的结果也适用

因此,关键部分为log(RSSB/RSSA)的AIC差异不会发生任何变化。重新缩放后,两个RSS的增长因子相同,模型A和B之间的AIC差异与之前完全相同

编辑:

我刚刚发现:

“单位的选择引入了乘法是正确的 常数转换为似然。因此对数似然具有 对AIC有贡献(加倍后)的加法常数。AIC的差值不变。”


请注意,这条评论甚至谈到了使用确切对数可能性的一般情况。

我也有同样的问题,我觉得上面现有的答案可能更清晰、更直接。希望下面也能为其他人澄清一下

当使用AIC比较模型时,有趣的是差异。这里讨论的部分是n*log(RSS/n)。当我们比较两种不同型号时,我们将得到: n1*日志(RSS1/n1)+2k1-n2*日志(RSS2/n2)-2k2

根据对数恒等式,我们知道log(a)-log(b)=log(a/b)。因此,AIC1-AIC2简化为:

2k1-2k2+对数(RSS1*n2/(RSS2*n1))

如果我们添加一个增益因子G来表示单位的变化,则该差值变为:

2k1-2k2+log(G*RSS1*n2/(G*RSS2*n1))=2k1-2k2+log(RSS1*n2/(RSS2*n1))


正如您所看到的,无论我们选择哪种单位,我们都会有相同的AIC差异。

AIC是模型比较的一种度量标准。只有至少两个模型之间的AIC差异才有意义。所以,我倾向于说这无关紧要。我想说的是,两个模型之间AIC的差异可能取决于您对单位的选择:如果您有模型A和模型B,其中模型B只通过添加另一个模型参数而有所不同,然后根据原始帖子中的逻辑,AIC的变化将取决于你对单位的选择,因为它将决定剩余平方和项是否优于2k项。你确定你关于RSS的前提是正确的吗?AIC公式是在最小二乘回归的背景下产生的。IIRC,如果你将一个自变量的单位从美元改为美分(其他单位保持不变),该变量的新最小二乘参数估值器除以100,RSS不会改变(尽管我可能错了——我已经有一段时间了)。更一般地说,数据的似然函数的最大值是如何受到与常数相乘的影响的?你所说的对IVs是正确的,但就我所见,对DV不是这样。如果你的DV是以美元为单位的,那么你的剩余值可能是1,但如果是以美分为单位的,那么剩余值可能是100。我同意,在AIC的最大似然公式中,它取决于单位是没有意义的,但在使用RSS的AIC版本中,DV的单位似乎必须有所不同(除非标准化残差或其他东西)。即使在(我现在懒得想它),如果你改变DV的单位,显然你必须对A和B两种型号都这样做。同样,我认为这不会影响AIC差异。