Tensorflow 远程资源培训

全部,

我对此进行了一些研究，但在任何地方都没有找到明确的答案

使用带有TF后端的Keras，您如何使用不是本地而是远程资产的资产（例如图像）来训练模型

例如，如果s3上有1M个标记但未按文件夹组织的图像，那么是否有一种实用的方法来以Keras可以用来训练模型的方式来传输数据

我的想法是，我将提供以下格式的文件：

{ label: "Apple", img: http://someurl/img.jpg }
{ label: "Banana", img: http://someurl/img.jpg }
{ label: "Orange", img: http://someurl/img.jpg }

您可以使用

预处理。加载img

或

枕头

来抓取url并调整其大小

---

这个问题更多的是关于这方面的正确流程和可行性？

这可以通过镜像Keras的生成器API来实现。您可以制作一个标准的python生成器，该生成器具有图像URL的索引，并生成从这些URL加载的成批图像

然而，我不推荐这种方法。从web加载图像会带来额外的延迟，这可能会显著降低模型的训练速度。如果您的SSD上没有足够的空间来存储整个数据集，并且/或者您发现加载一批图像所需的时间比在该批图像上训练所需的时间短，那么这可能是一个好主意