Kubernetes 如何在Kubeflow中使用大量数据？

我有1TB的图像存储在GCS中（数据分为3类）。我想在Kubeflow中对这些数据训练自定义张量流模型。 目前，我有用于训练和持久化模型的管道组件，但我不知道如何将这些数据正确地输入分类器

在我看来，每次我运行（可能是失败的）管道时，从GCS（gsutil cp/其他什么）下载这些数据并不是一种正确的方法

---

如何在Kubeflow管道中使用大量数据而不必每次下载？如何使用Kubeflow DSL表示对此数据的访问？

您可以在主机上装载该卷吗

---

如果是，请在主机上装载卷，然后将此目录作为主机路径装载到容器中，这样映像就已经装载到节点上，并且每当新容器启动时，它都可以将卷装载到容器中并启动该过程，从而避免在每次容器启动时进行数据传输。

此外，如果您的数据在GCS中，然后，TensorFlow支持访问（和写入）地面军事系统中的数据。

---

允许您设置性能数据输入管道。

非张量流管道如何？