sparkR hdfs错误-服务器IPC版本9无法与客户端版本4通信

sparkR hdfs错误-服务器IPC版本9无法与客户端版本4通信,r,hadoop,apache-spark,hdfs,R,Hadoop,Apache Spark,Hdfs,我已经按照说明在Ubuntu中安装了sparkR来支持Hadoop 2.4.0版 我可以看到,Spark与Hadoop 2.4.0和纱线支持的组装JAR是在以下位置创建的/assembly/target/scala-2.10/Spark-assembly-1.0.0-SNAPSHOT-Hadoop 2.4.0.JAR 下面的R代码用于从本地works读取文件: 库(SparkR) sc您提供的链接没有任何SparkR安装步骤。根据sparkR自述文件,sparkR默认链接到Hadoop 1.0.

我已经按照说明在Ubuntu中安装了sparkR来支持Hadoop 2.4.0版

我可以看到,Spark与Hadoop 2.4.0和纱线支持的组装JAR是在以下位置创建的
/assembly/target/scala-2.10/Spark-assembly-1.0.0-SNAPSHOT-Hadoop 2.4.0.JAR

下面的R代码用于从本地works读取文件:

库(SparkR)

sc您提供的链接没有任何SparkR安装步骤。根据sparkR自述文件,sparkR默认链接到Hadoop 1.0.4。要将SparkR与其他Hadoop版本一起使用,您需要使用[Spark链接到]的相同版本重新构建SparkR
SPARK\u HADOOP\u VERSION=2.4.0./install-dev.sh

我用HADOOP版本2.4.0重建了sparkR,证据是我在~./assembly/target/scala-2.10/SPARK-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar~上看到了HADOOP纱线支持jar文件。即使在那之后,我还是得到了有问题的错误信息。如果我的理解有误,请纠正我。
library(SparkR)
sc <- sparkR.init()
lines <- textFile(sc, "hdfs://localhost:9000//in//text.txt")
Error in .jcall(getJRDD(rdd), "Ljava/util/List;", "collect") : 
  org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4