Tensorflow Google Cloud ML,扩展上次运行的超参数调优

Tensorflow Google Cloud ML,扩展上次运行的超参数调优,tensorflow,google-cloud-ml,Tensorflow,Google Cloud Ml,我正在使用Google Cloud ML运行超参数调优。我想知道是否可能从以前的运行中获益(可能是部分) 其中一项申请是: 我启动了一个超参数调优工作 我停止它是因为我想更改我正在使用的群集的类型 我想在新集群上重新启动hypertune作业,但我想从以前的运行中获益,我已经为此付费了 或其他应用程序: 我启动了一个超音频露营 我想延长以后的审判次数,而不是从头开始 然后举个例子,我想去掉一个自由度(例如,训练率),把重点放在其他参数上 基本上,我需要的是“如何为超音频设置检查点?” 谢谢 >

我正在使用Google Cloud ML运行超参数调优。我想知道是否可能从以前的运行中获益(可能是部分)

其中一项申请是:

  • 我启动了一个超参数调优工作
  • 我停止它是因为我想更改我正在使用的群集的类型
  • 我想在新集群上重新启动hypertune作业,但我想从以前的运行中获益,我已经为此付费了 或其他应用程序:

  • 我启动了一个超音频露营
  • 我想延长以后的审判次数,而不是从头开始
  • 然后举个例子,我想去掉一个自由度(例如,训练率),把重点放在其他参数上
  • 基本上,我需要的是“如何为超音频设置检查点?”


    谢谢

    > P>是的,这是一个有趣的工作流——它不可能与当前API集完全一致,因此它是我们未来规划中需要考虑的问题。 然而,我想知道现在是否有一些变通方法可以帮助您接近预期的工作流程

  • 从更高的试用次数开始-假设您可以取消作业,但不能延长作业
  • 根据一些外部输入提前完成培训工作-例如,一旦你达到了固定的培训率,你可以将其记录在GCS的文件中,并将具有不同培训率的后续试验标记为不可行,以便这些试验快速结束
  • 更进一步,例如,启动另一个作业(添加运行或更改缩放层),您可以尝试使用相同的输出目录,这一次使用目标度量查找给定超参数集的以前结果(您需要将它们记录在可以查找它们的某处,例如,创建gcs文件以跟踪试运行),因此,特定的试验提前完成,培训继续进行下一次试验。本质上是滚动您自己的“超音频检查点”


    正如我所提到的,所有这些都是解决方案,以及对从当前的能力到现在的能力的探索性思考。

    < P>是的,这是一个有趣的工作流程——它不可能与当前的API集相结合,因此这是我们未来规划中需要考虑的问题。 然而,我想知道现在是否有一些变通方法可以帮助您接近预期的工作流程

  • 从更高的试用次数开始-假设您可以取消作业,但不能延长作业
  • 根据一些外部输入提前完成培训工作-例如,一旦你达到了固定的培训率,你可以将其记录在GCS的文件中,并将具有不同培训率的后续试验标记为不可行,以便这些试验快速结束
  • 更进一步,例如,启动另一个作业(添加运行或更改缩放层),您可以尝试使用相同的输出目录,这一次使用目标度量查找给定超参数集的以前结果(您需要将它们记录在可以查找它们的某处,例如,创建gcs文件以跟踪试运行),因此,特定的试验提前完成,培训继续进行下一次试验。本质上是滚动您自己的“超音频检查点”


    正如我所提到的,所有这些都是变通办法,以及探索性的想法,即在当前能力的情况下,从您的终端可能会做些什么。

    谢谢您的回答,我将尝试调整:-)谢谢您的回答,我将尝试调整:-)