Python 从pickle文件在tensorflow中高效加载数据

我有大约10000个pickle文件，我应该读取这些文件并将其输入到tensorflow模型中进行训练。我在一个循环中完成这个过程，当时加载一个文件并进行一些预处理，然后使用这个文件进行训练并重复。有没有更有效的方法来做到这一点。 代码与此部分类似：

for filename in os.listdir("training_data"):
    x = load_data(filename)
    #some preprocessing
    feed_dict = construct_feed_dictionary(x)
    out = sess.run([model.opt_op, model.loss, model.accuracy],feed_dict=feed_dict) 

---

可能没有更快的方法读取pickle文件。但是，如果您希望提高性能，那么以不同的格式存储数据可能更有意义。管道呢？我在某个地方读到过，它适合这种情况吗？您可以将数据从pickle转换为另一种格式，并使用

tf.data.Dataset

，但这可能需要对现有管道进行彻底检查