Deep learning 在深度学习中，我可以动态地改变减重吗？

呼吁深入学习的专家

嘿，我最近正在用python中的tensorflow进行色调映射图像训练。为了得到更好的结果，我着重使用Justin Johnson介绍的知觉损失

在我的实现中，我使用了丢失的所有3个部分：从vgg16中提取的特征丢失；来自传输图像和地面真实图像的L2像素级损失；和总变化损失。我将它们总结为反向传播的损失

从功能 yˆ=argminλcloss_内容（y，yc）+λsloss_风格（y，ys）+λTVloss_电视（y）

在本文中，我们可以看到有3个损失权重λ来平衡它们。在整个培训过程中，三个λs的值可能是固定的

我的问题是，如果我在每个时期（或几个时期）动态地改变λ来调整这些损失的重要性，这有意义吗？ 例如，感知损失在前几个时期急剧收敛，而像素级l2损失收敛相当缓慢。因此，对于含量损失，重量λs可能应该更高，比如说0.9，但对于其他情况，重量λs应该更低。随着时间的推移，像素级损失对于平滑图像和最小化伪影将变得越来越重要。所以最好把它调高一点。就像根据不同的时代改变学习速度一样

那个监督我的博士后直接反对我的想法。他认为这是在动态地改变培训模式，可能会导致培训的不一致性

所以，赞成和反对，我需要一些想法

---

谢谢

在不了解更多您正在使用的数据的情况下，很难回答这个问题，但简言之，动态丢失不应该有那么大的影响，可能会产生相反的影响。 如果您使用的是Keras，您可以简单地运行类似于以下内容的超参数调谐器，以查看是否有任何影响（相应地更改损耗）：

我只在较小的型号上做过（太费时了），但本质上，最好保持不变，同时也避免激怒你的主管：D

如果您运行的是不同的ML或DL库，则每个库都有优化器，只需通过谷歌搜索即可。最好在集群上运行这些工具，隔夜运行，但它们通常会为您的模型提供足够好的优化版本

希望对你有帮助，祝你好运