Machine learning 具有非常大数据集的张量流估计输入？

我怎样才能使用一个函数来训练一个TensorFlow估计器，使得实际的数据特征和标签都不适合内存

具体而言，我的培训数据如下所示：

// training.txt
0, 0.001, 0.002, 0.003, 0.004,(...)
1, 0.005, 0.006, 0.007, 0.008,(...)
(...)

每行中的第一项是用于分类问题的标签，该行中的其余值是一长串浮点值。每行有16001个值。该文件有数千万行

---

我曾考虑过将输入文件拆分为许多较小的文件，这样每个文件都可以放在内存中，但我看不到一种在运行时切换使用哪个文件的干净方法。

您可以使用tensor flow的数据集API，从输入返回数据集

您可以使用tensor flow的数据集API，从输入返回数据集