Parallel processing 如何为处理文件集合的并行作业设置Kubernetes

因此，我基本上在寻找能够为我指明正确方向的人，来设置Kubernetes，以便对许多工作项执行公共计算，其中每个工作项都是一个单独的文件

我一直在阅读文档，它似乎表明这是可能的，示例中显示了单词队列并简单地打印单词，但是，我在使用持久卷时遇到了问题

我最终需要的是一个部署，它将获取一个包含数据点的大文件，并将其拆分为多个文件然后我想让作业对象执行几个pod，每个文件一个，在将文件传递回部署进行后期处理之前执行计算。

我很难找到如何传输文件的方法，据我所知，一个PersistentVolume似乎不能一次绑定到多个pod那么如何将文件传递给作业中的单个pod？

如有任何建议或一般指导，将不胜感激

PersistentVolume不能一次绑定到多个pod

PV是否在节点/吊舱之间共享（或不共享）取决于；并非所有PV都普遍绑定到一个节点/吊舱

---

正如该页上的图表所示，有许多PV技术可以容忍

ReadWriteMany

，其中最著名的是NFS

您是否已经研究过Hadoop或Spark，因为它们确实是为您所描述的问题而设计的。最后，我使用了AzureFile，这足以满足我的需要。