Amazon web services Kubernetes（GKE/AWS/Azure）针对大型作业的扩展

我在寻求一些建议，如果有人能为我指出正确的方向，我将永远感激

我有一个docker容器，用于跨多组视频帧执行基于机器学习的对象检测/跟踪。目前，我用这个docker容器启动了一个ec2实例，然后以串行方式发送大约30帧的批处理。当然，这是令人望而却步的缓慢

我想建立一个kubernetes系统，可以从零运行容器到50+，然后立即降低到最低要求。由于型号的不同，每个容器需要大约8GB的RAM，但可以在CPU上运行。我将需要这些运行大约一分钟，以并行处理传入的图像，然后终止，在视频处理完成后缩小到零活动容器。总之，将30帧的小批量发送到集群，使其大规模放大，然后在完成后立即缩小

我能够在谷歌云上建立一个kubernetes集群，但我不知道如何在工作结束后快速将其扩展到零。在工作完成后运行这么多容器将非常昂贵

有人能给我指出正确的方向吗？我能用gke做这个吗？我应该试试别的服务吗

非常感谢你的帮助

---

N

如果我已经清楚地理解了您的任务，那么这就是与Kubernetes的并行处理。利用K8S的这一特性，您可以运行多个POD并行运行的特定作业，这些POD在作业完成时终止

您可以从以下文档链接中阅读更多内容-

---

谢谢你，沙赫德！这看起来很有希望。看起来我可以用GKE（？）实现这一点，您知道通过HTTP请求是否可以实现类似的快速扩展吗？我想知道使用Jobs和REST的总体计算成本是否会有所不同。是的！您可以通过HTTP实现这一点。但是，您必须基于给定的作业实现一个任务队列，并将该队列映射到集群。顺便说一句，这将是一项乏味的任务。您的集群将通过水平扩展有效地处理作业，因此您不必太担心计算成本的增加！