Apache spark 火花对EMR簇芯纱线数的影响

我有一个用于spark的Emr集群，其配置如下：2个实例

r4.2xlarge
8 vCore

因此，我的总vCores是16，这也反映在纱线vCores中

我已经提交了一个带有参数的spark流作业——num executors 2——executor cores 5。因此，我假设它将使用2*5总共10个vCore作为执行器，但它所做的只是总共使用集群中的2个Core（+1个用于驱动程序）

在spark中，作业仍然以10（2*5）的并行任务运行。似乎它只是在每个执行器内核中运行5个线程。

我已经阅读了不同的问题和文档——executor Core使用实际的vCore，但在这里，它只以线程的形式运行任务。

---

我的理解正确吗？

您能提供spark submit命令。。。您为驱动程序和执行程序提供的内存配置是什么。。您是否启用了动态分配？正如您在Thread上所看到的，分配是恒定的。为每个执行器分配6g内存，为驱动程序分配4g内存……spark submit命令中没有其他内容看起来非常相似-