使用Docker运行Spark群集的最佳方式

这里没有火花

我们有一个

24CPU/48Cores Intel Xeon Gold 5220R CPU

运行

VMWare Esxi 7.0和192Gb RAM

，我们希望在此机器上创建一个Spark群集

我们创建了一个具有44个内核和140Gb RAM的

Debian10VM

。 目前，我们尝试使用docker compose和bitnami/spark docker image来运行一个主机，其中1个工作线程具有40个内核和120Gb Ram，10个工作线程具有4个内核和10GB Ram，但我们无法在其上获得良好的性能

我的问题是，您建议此服务器运行spark什么？创建多个Esxi的虚拟机？创建single Spark虚拟机并与docker compose共享计算空间？创造大量的工人？有很多资源的几个？ 我们应该在单机版和docker compose中工作，还是Kubernetes更好

非常感谢您的帮助/时间！：）