Tensorflow 如何使用hdf5文件加速google colab中的神经网络?

Tensorflow 如何使用hdf5文件加速google colab中的神经网络?,tensorflow,keras,hdf5,google-colaboratory,Tensorflow,Keras,Hdf5,Google Colaboratory,我正在colab中训练keras神经网络,我想加速它。这是我的名片。colab上的训练时间约为145秒/历元,而同样的神经网络在配备k20 GPU的服务器上的训练时间为5秒/历元。据我所知,训练速度慢的最可能原因是我在gdrive中有我的训练文件,从colab访问它们需要很多时间。据推测,解决方案是使用文件格式hdf5对数据进行“内存映射”。colab中的训练速度慢似乎是一个常见问题,但我找不到任何使用hdf5的代码解决方案 我以前从未使用过hdf5,因此您能给我一些关于如何在我的代码中进行“映

我正在colab中训练keras神经网络,我想加速它。这是我的名片。colab上的训练时间约为145秒/历元,而同样的神经网络在配备k20 GPU的服务器上的训练时间为5秒/历元。据我所知,训练速度慢的最可能原因是我在gdrive中有我的训练文件,从colab访问它们需要很多时间。据推测,解决方案是使用文件格式hdf5对数据进行“内存映射”。colab中的训练速度慢似乎是一个常见问题,但我找不到任何使用hdf5的代码解决方案

我以前从未使用过hdf5,因此您能给我一些关于如何在我的代码中进行“映射”的代码示例吗。我还试图:

  • 使用较大的
    batch\u size=
    256或512,但速度没有改变
  • 跳过
    ImageDataGenerator()
    中的图像增强,但这只节省了25%的时间
  • 使用
    tf.distribute.cluster\u resolver
    在多个GPU/TPU上分发,但我收到错误消息“fit\u生成器不支持使用tf.distribute.Strategy编译的模型。”
提前感谢,答案应该对社区中更多人有用