Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用sparkr连接到远程独立spark_R_Apache Spark_Sparkr - Fatal编程技术网

使用sparkr连接到远程独立spark

使用sparkr连接到远程独立spark,r,apache-spark,sparkr,R,Apache Spark,Sparkr,我可以在我的遥控箱上使用我的独立Spark安装,如下所示: library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"))) sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "2g")) 只是想知道,如何从远程机器访问这个独立的Spark安装。我想港口是7077。所以我现在试着: library(Sp

我可以在我的遥控箱上使用我的独立Spark安装,如下所示:

library(SparkR, lib.loc = c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib")))
sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "2g"))
只是想知道,如何从远程机器访问这个独立的Spark安装。我想港口是7077。所以我现在试着:

library(SparkR)
sparkR.session(master = "spark://NameOfVM:7077", sparkConfig = list(spark.driver.memory = "2g"))
首先,我得到了这样一个错误:

Spark not found in SPARK_HOME
我真的必须在我的客户机上安装Spark吗,尽管它是在远程机器上运行的?有点困惑。。。无论如何,上面的命令似乎要安装Spark:

Installing to C:\Users\User1234\AppData\Local\Apache\Spark\Cache
DONE.
SPARK_HOME set to C:\Users\User1234\AppData\Local\Apache\Spark\Cache/spark-2.4.2-bin-hadoop2.7
为什么远程独立spark安装的客户端需要安装spark

在此之后,我得到:

Error in sparkR.sparkContext(master, appName, sparkHome, sparkConfigMap,  : 
  JVM is not ready after 10 seconds

虽然您不需要在本地计算机上运行Spark,但您确实需要本地安装,以便可以使用Spark提交机制启动Spark应用程序。因此,有必要将SPARK_带回家