Apache spark 如何设置spark以使用特定数量的磁芯？

我有3台机器，每台机器有12个核心。如何设置spark以使用12芯

在spark-env.sh中，我已经设置了内存，但是我找不到如何设置内核数。你能帮个忙吗

export SPARK_WORKER_MEMORY=28G

---

在应用程序中，您可以sparkConfig.set（“spark.executor.cores”，value）。这是指每个执行器的内核

如果您使用的是spark submit，还可以使用诸如--total executor cores或--executor cores之类的选项。如果您使用的是纱线，还可以选择DynamicLocation

---

在所有机器上的spark-env.sh中添加以下内容

export SPARK_WORKER_CORES=12

SPARK_WORKER_CORES指定允许SPARK应用程序在计算机上使用的内核总数（默认值：所有可用内核）

此外，如果您希望在一台机器上有两名工人，请尝试以下操作：

export SPARK_WORKER_INSTANCES=2
export SPARK_WORKER_CORES=6

这将启动两个工人，每个工人有6个核心

---

查看更多详细信息。

谢谢您的回答。我用的是火花壳。但例如，如果每台机器有12个核，我可以在每台机器上设置12个核。但是你是说设置spark.executor.cores 12，但是我不需要设置任何executor？火花自动启动执行器？但如果设置为每个执行器12个核心，火花启动超过1个执行器，我将没有足够的核心。那么在你看来，我应该如何配置它呢？希望你能理解我说的话，如果没有请说。再次感谢！使用spark submit的选项也适用于spark shell。您可以设置每个执行器的核心数或核心总数，或者如果集群通过纱线运行，则可以使用动态分配。如果需要控制实例数，还可以使用spark.executor.instances。检查文档，所有配置都有文档记录。