Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark 2.0-会话中的核心数量_Apache Spark - Fatal编程技术网

Apache spark Spark 2.0-会话中的核心数量

Apache spark Spark 2.0-会话中的核心数量,apache-spark,Apache Spark,是否可以通过spark 2.0中的spark会话设置磁芯数? 这似乎不起作用: spark.stop()# was a SparkSession spark = SparkSession.builder.config("spark.cores.max", "5").appName("test") 你知道,当你启动作业时,你可以通过conf非常容易地设置它吗?嗯,不,我想我不知道:我主要使用的是jupyterI,我从来没有用过那个笔记本。如果您通过在启动命令中添加此--conf spark.ex

是否可以通过spark 2.0中的spark会话设置磁芯数? 这似乎不起作用:

spark.stop()# was a SparkSession
spark = SparkSession.builder.config("spark.cores.max", "5").appName("test")

你知道,当你启动作业时,你可以通过conf非常容易地设置它吗?嗯,不,我想我不知道:我主要使用的是jupyterI,我从来没有用过那个笔记本。如果您通过在启动命令中添加此
--conf spark.executor.cores=4
来启动它,会发生什么?您知道启动作业时可以通过conf非常轻松地设置它吗?嗯,不,我想我没有:我主要使用的是jupyterI,我从未使用过那个笔记本。如果您通过在启动命令中附加以下内容来启动它:
--conf spark.executor.cores=4
,会发生什么?