Fatal编程技术网
  • machine-learning/
  • Machine learning 如何进一步调整超参数与以下趋势线的训练损失和验证损失？

Machine learning 如何进一步调整超参数与以下趋势线的训练损失和验证损失？

machine-learning deep-learning

Machine learning 如何进一步调整超参数与以下趋势线的训练损失和验证损失？,machine-learning,deep-learning,training-data,hyperparameters,Machine Learning,Deep Learning,Training Data,Hyperparameters,我正在训练一个变分编码器（VAE），其MSE损失为100个历元，我得到了以下训练和验证损失。我的问题是： 如果损失的改善很小，我是否应该继续训练 学习率合适吗？我在这个例子中使用了学习速率衰减，我尝试了不同的初始值来计算学习速率，但得到了相似的结果 我计划为测试选择列车和有效损耗之和最小的历元。对吗 我可以调整哪些其他参数以使其更好？还有其他建议吗？ 谢谢 看起来不错，训练和验证损失与低损失几乎相同。低损失意味着模型预测的置信度非常高（与损失相反）。从这一点上获得进一步的改进将花费大量时间调整

我正在训练一个变分编码器（VAE），其MSE损失为100个历元，我得到了以下训练和验证损失。我的问题是：

  • 如果损失的改善很小，我是否应该继续训练
  • 学习率合适吗？我在这个例子中使用了学习速率衰减，我尝试了不同的初始值来计算学习速率，但得到了相似的结果
  • 我计划为测试选择列车和有效损耗之和最小的历元。对吗
  • 我可以调整哪些其他参数以使其更好？还有其他建议吗？ 谢谢
    • 看起来不错，训练和验证损失与低损失几乎相同。低损失意味着模型预测的置信度非常高（与损失相反）。从这一点上获得进一步的改进将花费大量时间调整所有超参数。@yudhiesh感谢您的评论。这很有帮助。假设我使用这个作为我的最终版本，用min（火车损失+有效损失）来选择纪元是否合理？或者我只使用上一个历元？您可以在每个历元使用
    keras.callbacks.ModelCheckpoint
    重新训练并保存模型，然后从中选择最佳的一个（最小值损失和列车损失）。