Machine learning 减少损失的不一致性

Machine learning 减少损失的不一致性,machine-learning,tensorflow,deep-learning,keras,data-science,Machine Learning,Tensorflow,Deep Learning,Keras,Data Science,[x] 检查您是否了解Keras主分支的最新信息。您可以使用以下内容进行更新: pip安装git+git://github.com/fchollet/keras.git --升级-无deps [x] 如果在TensorFlow上运行,请检查您是否使用最新版本。可以找到安装说明 [x] 提供一个链接,指向可以重现您的问题的Python脚本的GitHub要点(或者如果脚本很短,只需在此处复制脚本) 大家好,我一直在使用这个脚本 问题是我无法每次都产生类似的结果。 有时,我可以产生类似的结果(在50

[x] 检查您是否了解Keras主分支的最新信息。您可以使用以下内容进行更新: pip安装git+git://github.com/fchollet/keras.git --升级-无deps

  • [x] 如果在TensorFlow上运行,请检查您是否使用最新版本。可以找到安装说明

  • [x] 提供一个链接,指向可以重现您的问题的Python脚本的GitHub要点(或者如果脚本很短,只需在此处复制脚本)

  • 大家好,我一直在使用这个脚本 问题是我无法每次都产生类似的结果。 有时,我可以产生类似的结果(在500个纪元内损失0.3),但有时我在1500个纪元后仍会损失3.x。我不确定这是一个bug,还是因为算法只是停留在局部最小值


    此外,在我调整了收盘价(不除以100)并将学习率提高了100倍之后,问题仍然存在,并且一直处于30000的亏损状态。你们认为可以做些什么来改进模型吗?

    通过规范化功能集,它现在可以正常工作了。

    你们尝试过不同的优化器吗?有时候,LSTM与Adam或ADADDelta一起工作比与RMSPROP一起工作要好得多。谢谢Thomas,我正在使用Adam,现在我正在尝试使用ADADDelta。让我稍后再更新给你。另外顺便说一句,由于笔记本发布了新的keras和tensorflow主要版本,因此使用最新版本或主分支可能不是正确的复制方式。通过使用没有relu层和Adam optimizer的模型,对于除以100的数据集,它可以实现较低的损失。但用它来训练一个还没有被100除的数据集,它仍然被卡住了。我曾尝试将第一层LSTM中的神经元数量增加到1024个,但问题仍然存在。好消息是,您可能希望事先对数据进行标准化,因此它的平均值和单位方差为0。