Apache spark Spark 2.0-会话中的核心数量
是否可以通过spark 2.0中的spark会话设置磁芯数? 这似乎不起作用:Apache spark Spark 2.0-会话中的核心数量,apache-spark,Apache Spark,是否可以通过spark 2.0中的spark会话设置磁芯数? 这似乎不起作用: spark.stop()# was a SparkSession spark = SparkSession.builder.config("spark.cores.max", "5").appName("test") 你知道,当你启动作业时,你可以通过conf非常容易地设置它吗?嗯,不,我想我不知道:我主要使用的是jupyterI,我从来没有用过那个笔记本。如果您通过在启动命令中添加此--conf spark.ex
spark.stop()# was a SparkSession
spark = SparkSession.builder.config("spark.cores.max", "5").appName("test")
你知道,当你启动作业时,你可以通过conf非常容易地设置它吗?嗯,不,我想我不知道:我主要使用的是jupyterI,我从来没有用过那个笔记本。如果您通过在启动命令中添加此
--conf spark.executor.cores=4
来启动它,会发生什么?您知道启动作业时可以通过conf非常轻松地设置它吗?嗯,不,我想我没有:我主要使用的是jupyterI,我从未使用过那个笔记本。如果您通过在启动命令中附加以下内容来启动它:--conf spark.executor.cores=4
,会发生什么?