Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何在spark配置文件中定义执行器内核总数?_Apache Spark - Fatal编程技术网

Apache spark 如何在spark配置文件中定义执行器内核总数?

Apache spark 如何在spark配置文件中定义执行器内核总数?,apache-spark,Apache Spark,执行器内核总数是spark命令行的参数,例如spark shell、spark submit。我希望在spark-defaults.conf或spark-env.sh中配置这样的参数。我在中找不到此参数的替代项。请帮帮我 更新: spark.cores.max与total executor cores具有相似的功能spark.cores.max与total executor cores具有相似的功能因为您知道需要在配置文件中设置什么属性,您的问题是什么?我更新了我的问题,所以这个问题包含了我的答

执行器内核总数是spark命令行的参数,例如spark shell、spark submit。我希望在spark-defaults.conf或spark-env.sh中配置这样的参数。我在中找不到此参数的替代项。请帮帮我

更新:
spark.cores.max与total executor cores具有相似的功能

spark.cores.max与total executor cores具有相似的功能

因为您知道需要在配置文件中设置什么属性,您的问题是什么?我更新了我的问题,所以这个问题包含了我的答案。在这种情况下,你应该做的是回答你自己的问题并接受这个答案,向其他用户表明它是正确的。这听起来很奇怪,但实际上它可能会帮助其他遇到与您相同问题的人找到解决方案。