Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何在spark中设置驱动核心?_Apache Spark_Pyspark - Fatal编程技术网

Apache spark 如何在spark中设置驱动核心?

Apache spark 如何在spark中设置驱动核心?,apache-spark,pyspark,Apache Spark,Pyspark,我使用的是Jupyter notebook中带有spark standalone的客户端部署模型。我在应用程序中的配置如下: conf.setMaster('spark://hadoop-master:7077') conf.set("spark.driver.cores","4") conf.set("spark.driver.memory","8g") conf.set("spark.executor.memory","16g") 但是,我推测spark.driver.cores不起作用,

我使用的是Jupyter notebook中带有spark standalone的客户端部署模型。我在应用程序中的配置如下:

conf.setMaster('spark://hadoop-master:7077')
conf.set("spark.driver.cores","4")
conf.set("spark.driver.memory","8g")
conf.set("spark.executor.memory","16g")
但是,我推测spark.driver.cores不起作用,spark WEB UI显示:

为什么核心是零?如何修改此值? 此外,Spark WEB UI的环境显示如下:


因此,配置似乎已上载到服务器

你的机器总共有多少核?我的机器是一台16核的服务器。我在此服务器上创建了4个虚拟机。每个虚拟机有4个内核。从屏幕上看,似乎不包括从服务,执行器只保留驱动程序节点。我的应用程序可以在从机和驱动程序上执行,就像从Hadoop读取文件,显示数据帧,但是没有运行此连接操作。能否将代码片段粘贴到包含DF和连接的位置?您的计算机中总共有多少个内核?我的计算机是一台16核的服务器。我在此服务器上创建了4个虚拟机。每个虚拟机有4个核心。从屏幕上看,似乎不包括从属服务,执行器只保留驱动程序节点。我的应用程序可以在从属和驱动程序上执行,就像从Hadoop读取文件,显示数据帧,但没有运行此连接操作。您能将代码片段粘贴到包含DF和连接的位置吗