Deep learning 在训练期间，我的损失曲线呈阶梯形。为什么？
在CNN（ImageNet上的RESNET50）的训练期间，我观察到一个奇怪的“楼梯”形状（请参见下面链接的图中下降的蓝线——很抱歉，图例文字模糊） 这可能是什么原因造成的？我使用TensorFlow数据集来获取/生成数据，数据被洗牌。我使用每“历元”40和1000个批次（迭代）的批量大小，因此图上的每个点代表40000个样本。楼梯每32点向下一步，这意味着每一步跨越128000个样本（远少于ImageNet的>1000000个训练图像）。我使用的Adam优化器的固定学习率为0.01 有人猜测是什么导致了这一切吗Deep learning 在训练期间，我的损失曲线呈阶梯形。为什么？,deep-learning,computer-vision,cnn,loss,imagenet,Deep Learning,Computer Vision,Cnn,Loss,Imagenet,在CNN（ImageNet上的RESNET50）的训练期间，我观察到一个奇怪的“楼梯”形状（请参见下面链接的图中下降的蓝线——很抱歉，图例文字模糊） 这可能是什么原因造成的？我使用TensorFlow数据集来获取/生成数据，数据被洗牌。我使用每“历元”40和1000个批次（迭代）的批量大小，因此图上的每个点代表40000个样本。楼梯每32点向下一步，这意味着每一步跨越128000个样本（远少于ImageNet的>1000000个训练图像）。我使用的Adam优化器的固定学习率为0.01 有人猜测是
你在期待什么？@AniketBote，我希望下降曲线“更平滑”（但仍然嘈杂），没有楼梯/台阶形状。你是在暗示楼梯的形状是常见的，也是预期的吗？如果是，为什么预期会这样？我已经这样做了很多年了，如果历元样本量等于完整训练集样本量，或者学习率以相当于阶梯步持续时间的间隔降低，我只希望出现阶梯。我可以想象，这与亚当和你的误差曲面形状的组合有关，因为它可以缩放LR。你有没有尝试过其他的优化程序？@TA这是一个似是而非的假设。我会看看在使用标准SGD时它是否消失。