Apache spark 一个工作进程上的多个spark流上下文

我有两个CPU的单节点集群，我想在这里运行两个spark流作业

我还想使用提交模式“集群”。我使用的是独立群集管理器。 当我提交一个应用程序时，我看到驱动程序消耗1个内核，而工作者消耗1个内核

这是否意味着没有可用于其他流媒体作业的内核？2个流作业能否重用执行器

这完全让我困惑，而且我在文档中也没有发现这一点

斯德詹

这是否意味着没有可用于其他流媒体作业的内核

如果您有一个具有2个CPU的工作进程，并且您正在群集模式下部署，那么您将没有可用的内核，因为该工作进程必须使用专用的内核，以便tge驱动程序进程在您的工作机器上运行

2个流作业能否重用执行器

---

否，每个作业都需要分配群集管理器提供的专用资源。如果一个作业正在使用所有可用资源运行，则下一个计划作业将处于等待状态，直到第一个作业完成。您可以在Spark UI中看到它。

什么群集？我相信这将取决于集群管理器的反应——是否存在容器限制等。我使用的是纱线，但我不是专家。我知道在一个给定的Spark应用程序中，有多少executor内核和可以有多少数据流之间存在直接的相关性。阅读这里：--绕过这个限制的方法是只创建一个可以侦听多个源（在我的例子中是Kafka主题）的数据流谢谢你的回答。我无法设置两个驱动程序重用同一个核心？我是否可以设置一个核心有两个执行器，这样一个应用程序可以使用一个执行器，而第二个应用程序可以使用另一个执行器？因此，在我的例子中，有两个应用程序和两个核心，以及独立的群集管理器：-2个驱动程序重用第一个核心-2个执行器重用第二个核心我更改了注释，添加了另外两个问题。再次感谢你