Python 并行读取numpy*.npz文件（理想情况下使用异步/等待语法）以提高性能_Python_Numpy_Tensorflow

Python 并行读取numpy*.npz文件（理想情况下使用异步/等待语法）以提高性能

python numpy tensorflow

Python 并行读取numpy*.npz文件（理想情况下使用异步/等待语法）以提高性能,python,numpy,tensorflow,Python,Numpy,Tensorflow,我有一个TensorFlow输入管道，它接受.npz文件，每个文件都包含一个示例。5人一组，我将它们写入TFRecords。这太慢了。慢度是npzs的np.load（）因为我将有许多.npzs，所以我想并行处理它们。我假设np.load是I/O绑定的。我可以使用async/await语法来加快加载速度吗？（tf.io.TFRecordWriter似乎足够快，可以忽略）。或者你会建议另一种方法吗

我有一个TensorFlow输入管道，它接受

.npz

文件，每个文件都包含一个示例。5人一组，我将它们写入TFRecords。这太慢了。慢度是

npz

s的

np.load（）
因为我将有许多.npz
s，所以我想并行处理它们。我假设np.load
是I/O绑定的。我可以使用async/await语法来加快加载速度吗？（tf.io.TFRecordWriter
似乎足够快，可以忽略）。或者你会建议另一种方法吗