每个.tfrecord文件有多少个图像(用于训练tensorflow对象检测API)?

每个.tfrecord文件有多少个图像(用于训练tensorflow对象检测API)?,tensorflow,tensorflow-datasets,google-cloud-ml,object-detection-api,tfrecord,Tensorflow,Tensorflow Datasets,Google Cloud Ml,Object Detection Api,Tfrecord,在对象检测API文档中,描述了如何将整个训练集分割成多个文件。但他们只说, “当您有数千个以上的示例时,将数据集分成多个文件是非常有益的:…” 我想知道一个很好的分割数,作为训练图像数的函数 每个文件的实例数是否有一个最佳大小,或者文件大小是否更重要 (如果有任何变化,我最终想在Google AI平台上训练对象检测API模型。)谢谢。(1)有比worker/GPU数量更多的文件,这样每个worker都可以读取自己的文件 (2) 尝试拥有每个数百MB的文件,因为GCS的吞吐量很高,但到第一个字节的

在对象检测API文档中,描述了如何将整个训练集分割成多个文件。但他们只说,

“当您有数千个以上的示例时,将数据集分成多个文件是非常有益的:…”

我想知道一个很好的分割数,作为训练图像数的函数

每个文件的实例数是否有一个最佳大小,或者文件大小是否更重要

(如果有任何变化,我最终想在Google AI平台上训练对象检测API模型。)谢谢。

(1)有比worker/GPU数量更多的文件,这样每个worker都可以读取自己的文件


(2) 尝试拥有每个数百MB的文件,因为GCS的吞吐量很高,但到第一个字节的时间很长。

所以没有理由拥有超过{num_workers}个文件?例如,如果我使用一个TPU,一个大的.tfrecord文件就可以了?如果你只使用一个TPU内核,那么,是的,一个大文件就可以了。谢谢,@Lak!您是否有任何支持您所有声明的文档链接(无论如何似乎都是合理的)?TF团队切分图像TF记录的经验法则是每个tfrecord文件100到200张图像。