Docker 集群,库伯内特斯,码头工人。为我的应用程序选择什么?

Docker 集群,库伯内特斯,码头工人。为我的应用程序选择什么?,docker,kubernetes,cluster-computing,container-image,Docker,Kubernetes,Cluster Computing,Container Image,我的应用程序是一个bash脚本,在gnupallel上运行tesseract。我需要处理的数据达到50GB。如果我只做一次就太慢了。我需要集群计算的能力,但我不想自己设置多个虚拟机,相反,我只想在Google cluster(Kubernetes?)上启动我的应用程序(以及数据文件)。我对这些概念不太清楚。如果有人能提供指导,那就太好了。当您只关心这一个用例时,从头开始学习所有容器编排细节可能是一个挑战 虽然GNU Parrelell在一台机器上很好,但在云中似乎没有太多在分布式模式下使用它的入

我的应用程序是一个bash脚本,在
gnupallel
上运行
tesseract
。我需要处理的数据达到50GB。如果我只做一次就太慢了。我需要集群计算的能力,但我不想自己设置多个虚拟机,相反,我只想在Google cluster(Kubernetes?)上启动我的应用程序(以及数据文件)。我对这些概念不太清楚。如果有人能提供指导,那就太好了。

当您只关心这一个用例时,从头开始学习所有容器编排细节可能是一个挑战

虽然GNU Parrelell在一台机器上很好,但在云中似乎没有太多在分布式模式下使用它的入门工具包


我宁可考虑不要使用K8S集群。它可以轻松地分配和清理,让您避免管理虚拟机和学习编排框架。

请参阅。每个答案都同样有效的问题;开放性问题;邀请分享经验的问题在这里都不受欢迎,因为选择“正确答案”是主观的,而不是客观的,因为没有客观的标准来判断。类似地,问题非常广泛(需要广义“指导”的肯定就在这一组中)。那么单台高端机器呢?比如说,n1-highcpu-96,96个CPU,~90Gb内存,$3.4/h。代码、单代码图像、单输入数据r/o图像、输出数据量没有变化。@SeverinAppadeux哪家公司提供的?Google、Parallel有大量内置支持跨多台机器;我不知道你暗示需要什么样的“入门工具包”。它所没有的是提供云节点或从云/提供者API中发现它们的编排。(不要把这个评论看作是对Parallel的认可——我自己不使用它,也不建议其他人使用它——但它比上面所暗示的更有能力)。@CharlesDuffy我不想参与设置和管理4-5个VM的SSH登录(我可能需要更多),这正是Parallel所需要的。我认为
container
体系结构正好适合我的情况,但学习曲线似乎很陡峭。@navicore您正确理解了我的痛苦。我将研究Google数据流。@Naveed,是的,设置虚拟机并管理其登录是我上面提到的“编排”层。如果你用这个词来搜索,你会发现很多适合这份工作的工具。