Tensorflow 如何将学习率添加到摘要中?
如何监控AdamOptimizer的学习率? 据说我需要 通过将标量_摘要操作附加到分别输出学习率和损失的节点来收集这些信息Tensorflow 如何将学习率添加到摘要中?,tensorflow,tensorboard,Tensorflow,Tensorboard,如何监控AdamOptimizer的学习率? 据说我需要 通过将标量_摘要操作附加到分别输出学习率和损失的节点来收集这些信息 我怎样才能做到这一点呢?我认为在图表中可以使用以下类似的方法: with tf.name_scope("learning_rate"): global_step = tf.Variable(0) decay_steps = 1000 # setup your decay step decay_rate = .95 # setup your deca
我怎样才能做到这一点呢?我认为在图表中可以使用以下类似的方法:
with tf.name_scope("learning_rate"):
global_step = tf.Variable(0)
decay_steps = 1000 # setup your decay step
decay_rate = .95 # setup your decay rate
learning_rate = tf.train.exponential_decay(0.01, global_step, decay_steps, decay_rate, staircase=True, "learning_rate")
tf.scalar_summary('learning_rate', learning_rate)
(当然,要让它工作起来,需要
tf.合并所有摘要()
并使用tf.train.SummaryWriter
在最后将摘要写入日志)但Adam的学习速度是恒定的。。。“Adam计算了一些梯度统计数据,并根据学习率和这些统计数据改变了步长。是的,你在写,事实上我需要步长的曲线图。答案很有趣,但这不适合Adam,”钟玉光说