使用sparkr连接到远程独立spark
我可以在我的遥控箱上使用我的独立Spark安装,如下所示:使用sparkr连接到远程独立spark,r,apache-spark,sparkr,R,Apache Spark,Sparkr,我可以在我的遥控箱上使用我的独立Spark安装,如下所示: library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"))) sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "2g")) 只是想知道,如何从远程机器访问这个独立的Spark安装。我想港口是7077。所以我现在试着: library(Sp
library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "2g"))
只是想知道,如何从远程机器访问这个独立的Spark安装。我想港口是7077。所以我现在试着:
library(SparkR)
sparkR.session(master = "spark://NameOfVM:7077", sparkConfig = list(spark.driver.memory = "2g"))
首先,我得到了这样一个错误:
Spark not found in SPARK_HOME
我真的必须在我的客户机上安装Spark吗,尽管它是在远程机器上运行的?有点困惑。。。无论如何,上面的命令似乎要安装Spark:
Installing to C:\Users\User1234\AppData\Local\Apache\Spark\Cache
DONE.
SPARK_HOME set to C:\Users\User1234\AppData\Local\Apache\Spark\Cache/spark-2.4.2-bin-hadoop2.7
为什么远程独立spark安装的客户端需要安装spark
在此之后,我得到:
Error in sparkR.sparkContext(master, appName, sparkHome, sparkConfigMap, :
JVM is not ready after 10 seconds
虽然您不需要在本地计算机上运行Spark,但您确实需要本地安装,以便可以使用Spark提交机制启动Spark应用程序。因此,有必要将SPARK_带回家