Apache spark 如何在spark中设置驱动核心?
我使用的是Jupyter notebook中带有spark standalone的客户端部署模型。我在应用程序中的配置如下:Apache spark 如何在spark中设置驱动核心?,apache-spark,pyspark,Apache Spark,Pyspark,我使用的是Jupyter notebook中带有spark standalone的客户端部署模型。我在应用程序中的配置如下: conf.setMaster('spark://hadoop-master:7077') conf.set("spark.driver.cores","4") conf.set("spark.driver.memory","8g") conf.set("spark.executor.memory","16g") 但是,我推测spark.driver.cores不起作用,
conf.setMaster('spark://hadoop-master:7077')
conf.set("spark.driver.cores","4")
conf.set("spark.driver.memory","8g")
conf.set("spark.executor.memory","16g")
但是,我推测spark.driver.cores不起作用,spark WEB UI显示:
为什么核心是零?如何修改此值?
此外,Spark WEB UI的环境显示如下:
因此,配置似乎已上载到服务器 你的机器总共有多少核?我的机器是一台16核的服务器。我在此服务器上创建了4个虚拟机。每个虚拟机有4个内核。从屏幕上看,似乎不包括从服务,执行器只保留驱动程序节点。我的应用程序可以在从机和驱动程序上执行,就像从Hadoop读取文件,显示数据帧,但是没有运行此连接操作。能否将代码片段粘贴到包含DF和连接的位置?您的计算机中总共有多少个内核?我的计算机是一台16核的服务器。我在此服务器上创建了4个虚拟机。每个虚拟机有4个核心。从屏幕上看,似乎不包括从属服务,执行器只保留驱动程序节点。我的应用程序可以在从属和驱动程序上执行,就像从Hadoop读取文件,显示数据帧,但没有运行此连接操作。您能将代码片段粘贴到包含DF和连接的位置吗