在tensorflow中训练大模型时,如何解决GPU内存不足的问题?

在tensorflow中训练大模型时,如何解决GPU内存不足的问题?,tensorflow,gpu,Tensorflow,Gpu,我正在tensorflow中运行LSTM演示 单元输出大小461*461*4*120=100MB(120个隐藏节点) Softmax输出大小461*461*4*256=200MB 但使用Nvidia 960(4G内存)运行此演示会耗尽所有GPU内存,为什么 如果隐藏节点高达1000个,使用doble GPU(Nvidia 1080)很难做到这一点,如何解决它?您可能应该提供有关问题的更多信息。例如,训练数据的大小,你得到的错误代码等等。有时候你只需要一个更大的GPU

我正在tensorflow中运行LSTM演示

单元输出大小461*461*4*120=100MB(120个隐藏节点)

Softmax输出大小461*461*4*256=200MB

但使用Nvidia 960(4G内存)运行此演示会耗尽所有GPU内存,为什么


如果隐藏节点高达1000个,使用doble GPU(Nvidia 1080)很难做到这一点,如何解决它?

您可能应该提供有关问题的更多信息。例如,训练数据的大小,你得到的错误代码等等。有时候你只需要一个更大的GPU