Fatal编程技术网
  • tensorflow/
  • Tensorflow Keras model.fit在Google Colab Pro中内存不足

Tensorflow Keras model.fit在Google Colab Pro中内存不足

tensorflow machine-learning keras google-colaboratory

Tensorflow Keras model.fit在Google Colab Pro中内存不足,tensorflow,machine-learning,keras,google-colaboratory,tensorflow2.0,Tensorflow,Machine Learning,Keras,Google Colaboratory,Tensorflow2.0,我正在用下面的数据集尝试一个简单的顺序模型。 使用具有35 GB RAM+225 GB磁盘空间的Colab PRO 总刑期-59000 总字数-160000 填充序号长度-38 因此，列车x（59000,37），列车y（59000） 我正在使用FastText来嵌入层。FastText模型使用 （行）vocab_尺寸113000 （列/尺寸）嵌入尺寸8815 下面是model.summary（）的样子 编译模型大约需要15分钟，但是.fit在没有足够内存的情况下崩溃 我已将批处理大小降低到4（

我正在用下面的数据集尝试一个简单的顺序模型。 使用具有35 GB RAM+225 GB磁盘空间的Colab PRO

  • 总刑期-59000
  • 总字数-160000
  • 填充序号长度-38
    • 因此，列车x（59000,37），列车y（59000）

    我正在使用FastText来嵌入层。FastText模型使用 （行）vocab_尺寸113000 （列/尺寸）嵌入尺寸8815

    下面是model.summary（）的样子

    编译模型大约需要15分钟，但是.fit在没有足够内存的情况下崩溃

    我已将批处理大小降低到4（默认值为32）。。还是不走运

    时代=2 详细=0 批量大小=4

    历史=序列模型.fit（序列x，序列y，年代=年代，详细=详细，回调=[csv\u logger]，批次大小=批次大小）

    非常感谢您的建议。

    如果我所看到的是正确的，那么您的模型实在太大了！ 它有将近15亿个参数。那太过分了。
    减少批大小根本没有帮助。

    这不是一个简单的顺序模型，您的模型有149800万个参数，非常大，相比之下，ResNet有200万个参数，VGG大约有1.5亿个。训练这么大的模型需要一些工程上的挑战，所以你可能应该重新考虑这是否是你想要做的。重量需要~6 Gb。我认为您有机会使用简单的优化器和1的批量大小进行培训。但训练如此庞大的模型可能需要数年时间，除非你有大量的TPUs@Dr.Snoopy-谢谢你的反馈。有什么建议需要重新考虑吗？