Google cloud platform 从地面军事系统向您的模型提供图像数据（tfrecords）的最佳方式是什么？

我给自己设定了一个目标，只使用谷歌云解决MNIST皮肤癌数据集

在Google Kubernetes上使用GCS和Kubeflow

我使用以下脚本将数据从jpeg转换为tfrecord：

我已经看到了很多例子，他们是如何将csv文件提供给他们的模型的，但没有看到任何关于图像数据的例子

将所有TFR记录复制到Google Cloud Shell中，这样我就可以像那样将数据提供给我的模型，这是否明智？ 或者有没有更好的方法

---

提前感谢。

如果您正在使用Kubeflow，我建议您使用Kubeflow管道

对于预处理，您可以使用在标准管道数据流映像上构建的映像

gcr.io/ml pipeline/ml pipeline dataflow tft:latest

，您只需复制数据流代码并运行它：

FROM gcr.io/ml-pipeline/ml-pipeline-dataflow-tft:latest
RUN mkdir /{folder}
COPY run_dataflow_pipeline.py /{folder}
ENTRYPOINT ["python", "/{folder}/run_dataflow_pipeline.py"]

请参阅下面的数据流代码，它正是这样做的。我们的想法是将TF记录写入Google云存储（GCS）

随后，您可以使用谷歌云的ML引擎进行实际培训。在这种情况下，您也可以从image

google/cloud sdk:latest

开始，基本上使用bash脚本复制所需文件，该脚本将运行以执行gcloud命令以启动培训作业

FROM google/cloud-sdk:latest
RUN mkdir -p /{src} && \
    cd /{src} 
COPY train.sh ./
ENTRYPOINT ["bash", "./train.sh"]

将TF记录的存储位置传递到模型中的一种优雅方法是使用TF.data：

# Construct a TFRecordDataset
train_records = [os.path.join('gs://{BUCKET_NAME}/', f.name) for f in
                 bucket.list_blobs(prefix='data/TFR/train')]
validation_records = [os.path.join('gs://{BUCKET_NAME}/', f.name) for f in
                      bucket.list_blobs(prefix='data/TFR/validation')]

ds_train = tf.data.TFRecordDataset(train_records, num_parallel_reads=4).map(decode)
ds_val = tf.data.TFRecordDataset(validation_records,num_parallel_reads=4).map(decode)

# potential additional steps for performance: 
# https://www.tensorflow.org/guide/performance/datasets)

# Train the model
model.fit(ds_train,
          validation_data=ds_val,
          ...,
          verbose=2)

查看这篇文章，了解类似（更复杂）kubeflow管道的实际实现