Apache spark 理解本地模式下的spark.default.parallelism

您好，我只是想了解一下spark.default.parallelism参数

鉴于这些文件：

我看到这个变量应该是我机器中的内核数。 所以我有4个核心：

nproc
4

但这是：

 println("TEST---> " + sparkSession.sparkContext.defaultParallelism )

此命令：

spark-submit \
  --class PartitioningTest \
  --master local \
  --driver-java-options "-Dlog4j.configuration=application.properties" \
  --driver-class-path $JARFILE \
  $JARFILE

打印出来

测试--->1

正如医生说的，我期待着4点

---

谢谢

--使用一个线程来掌握本地运行Spark，您应该使用本地[*]来使用您的所有核心。

可以接受您问题的其他答案，以便其他人再次回答您。。。