Keras 培训期间的批量设置

Keras 培训期间的批量设置,keras,gpu,Keras,Gpu,当我使用keras+tensorflow gpu进行训练时,我将batch_大小设置为128,这是gpu可以接受的最大大小,否则就会出现OOM问题。我的问题是,当批处理_大小为128时,pics大小为128*224*224*3*4(在RGB通道中,img大小为224*224),总计约为10M字节,我认为这与GPU的内存相比太小了。有什么解释吗?你忘记了3更多同样需要GPU内存的东西 你的模型重量 梯度计算期间的临时变量 这两者占用了大量内存。 这就是为什么即使批处理消耗10M 还有很多其他需要G

当我使用keras+tensorflow gpu进行训练时,我将batch_大小设置为128,这是gpu可以接受的最大大小,否则就会出现OOM问题。我的问题是,当批处理_大小为128时,pics大小为128*224*224*3*4(在RGB通道中,img大小为224*224),总计约为10M字节,我认为这与GPU的内存相比太小了。有什么解释吗?

你忘记了
3
更多同样需要GPU内存的东西

  • 你的模型重量

  • 梯度计算期间的临时变量

  • 这两者占用了大量内存。 这就是为什么即使批处理消耗
    10M

  • 还有很多其他需要GPU内存的小东西

  • 图像为uint,其中is张量为float64,大小增加了8倍。正向路径、梯度和其他张量占用大量内存


    您可以根据给出的说明计算模型所需的内存