为什么tensorflow的AdamOptimizer实现不支持L2规范化

为什么tensorflow的AdamOptimizer实现不支持L2规范化,tensorflow,optimization,Tensorflow,Optimization,Tensorflow的实现没有像中那样的正则化参数,例如l2_正则化_强度,是否有必要在中添加l2范数?Tensorflow的实现只是:的实现,它在本文中是如何定义和测试的 如果你想用Adam和L2正则化来解决你的问题,你只需要在你的损失中添加一个L2正则化项,并加入一些正则化强度,你可以自己选择 我不能告诉你这是必要的还是有用的,或者使用什么样的正则化和正则化强度,因为这在很大程度上取决于问题,而且是相当主观的。通常你自己将正则化添加到你的损失中,就像上面描述的那样。但是,tf.train.p

Tensorflow的实现没有像中那样的正则化参数,例如l2_正则化_强度,是否有必要在中添加l2范数?

Tensorflow的实现只是:的实现,它在本文中是如何定义和测试的

如果你想用Adam和L2正则化来解决你的问题,你只需要在你的损失中添加一个L2正则化项,并加入一些正则化强度,你可以自己选择


我不能告诉你这是必要的还是有用的,或者使用什么样的正则化和正则化强度,因为这在很大程度上取决于问题,而且是相当主观的。

通常你自己将正则化添加到你的损失中,就像上面描述的那样。但是,tf.train.proximaladagradoOptimizer包含一个特殊的非标准正则化,它是算法的一部分,因此也是tf.train.proximaladagradoOptimizer的一部分。

您能否分享更多关于特殊非标准正则化的信息,为什么正则化是这个优化器的一部分?原始论文很长,太数学化了,无法理解。@cheng在论文中没有提到为什么要使用正则化。这是关于如何规范化。正则化通常用于防止过拟合。