Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/tensorflow/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
我应该如何理解tensorflow对象检测api中的预热学习率?_Tensorflow_Tensorflow2.0_Object Detection - Fatal编程技术网

我应该如何理解tensorflow对象检测api中的预热学习率?

我应该如何理解tensorflow对象检测api中的预热学习率?,tensorflow,tensorflow2.0,object-detection,Tensorflow,Tensorflow2.0,Object Detection,你能解释一下它在训练中是如何工作的吗 learning_rate: { cosine_decay_learning_rate { learning_rate_base: 8e-2 total_steps: 300000 warmup_learning_rate: .0001 warmup_steps: 400 } }``` 回答我自己的问题:)在上述设置下,训练从lr=0

你能解释一下它在训练中是如何工作的吗

learning_rate: {
        cosine_decay_learning_rate {
          learning_rate_base: 8e-2
          total_steps: 300000
          warmup_learning_rate: .0001
          warmup_steps: 400
        }
      }```

回答我自己的问题:)在上述设置下,训练从lr=0.0001开始,在400个阶段结束时达到0.08(热身步骤)。在第400个历元之前,lr是线性递增的。

为什么要随时间增加学习率?如果我没有错的话,最好先有一个学习率,然后当我们达到最佳值时,它应该越来越小,因为我们不想越过最佳值。

你能发布使用学习率预热的完整代码示例吗?我在api上使用了tensorflow object detectı。您可以通过此链接进行检查。您可以在模型的配置文件中看到预热LR。也许链接可以帮助您。