我应该如何理解tensorflow对象检测api中的预热学习率?
你能解释一下它在训练中是如何工作的吗我应该如何理解tensorflow对象检测api中的预热学习率?,tensorflow,tensorflow2.0,object-detection,Tensorflow,Tensorflow2.0,Object Detection,你能解释一下它在训练中是如何工作的吗 learning_rate: { cosine_decay_learning_rate { learning_rate_base: 8e-2 total_steps: 300000 warmup_learning_rate: .0001 warmup_steps: 400 } }``` 回答我自己的问题:)在上述设置下,训练从lr=0
learning_rate: {
cosine_decay_learning_rate {
learning_rate_base: 8e-2
total_steps: 300000
warmup_learning_rate: .0001
warmup_steps: 400
}
}```
回答我自己的问题:)在上述设置下,训练从lr=0.0001开始,在400个阶段结束时达到0.08(热身步骤)。在第400个历元之前,lr是线性递增的。为什么要随时间增加学习率?如果我没有错的话,最好先有一个学习率,然后当我们达到最佳值时,它应该越来越小,因为我们不想越过最佳值。你能发布使用学习率预热的完整代码示例吗?我在api上使用了tensorflow object detectı。您可以通过此链接进行检查。您可以在模型的配置文件中看到预热LR。也许链接可以帮助您。