Apache spark 如何基于包含介观或库伯内特的容器创建火花或张量流簇？

在阅读了关于和的讨论之后，我仍然对如何通过一些bear metal主机和类似AWS的私有云（OpenNebular）使用docker容器创建Spark和TensorFlow集群感到困惑

目前，我能够使用手动分发到不同主机的docker容器构建静态TensorFlow集群。我只在熊金属主机上运行一个独立的spark。可以找到为容器手动设置mesos群集的方法

由于我的资源有限，我想找到一种方法，将docker容器部署到当前的混合基础架构中，以构建tensorflow或spark集群，这样我就可以在相同的资源上使用tensorflow或spark进行数据分析

使用docker容器在与mesos或kubernetes混合的基础设施上快速创建/运行/取消部署spark或tensorflow群集是否可能？我该怎么做

---

欢迎任何意见和提示

鉴于您的资源有限，我建议您考虑一下如何使用头盔，它将为您提供：

• 1个Spark Master，端口8080暴露在外部负载平衡器上
• 3个Spark Workers，配备HorizontalPodAutoscaler，当CPU达到100米的50%时，最多可扩展到10个Pod
• 1个齐柏林飞艇，端口8080暴露在外部负载平衡器上

如果此配置不起作用，那么您可以构建自己的docker映像并部署这些映像，请查看。目前正在进行使Spark更具吸引力的工作。这也提供了一些见解

不必研究Tensorflow，我建议您也看看如何在Kubernetes本地部署Spark。这是最近的发展，可能对某些人有所帮助。