Apache spark %spark.r解释器在齐柏林飞艇0.6.1中不工作

我正在使用带有Hadoop纱线的Spark 1.6.2集群，Oozie。我已经安装了Zeppelin 0.6.1（包含所有解释器的二进制软件包：Zeppelin-0.6.1-bin-all.tgz）。当我尝试将SparkR脚本与%spark.r解释器一起使用时

%spark.r
# Creating SparkConext and connecting to Cloudant DB
sc1 <- sparkR.init(sparkEnv = list("cloudant.host"="host_name","cloudant.username"="user_name","cloudant.password"="password", "jsonstore.rdd.schemaSampleSize"="-1"))

# Database to be connected to extract the data
database <- "sensordata"
# Creating Spark SQL Context
sqlContext <- sparkRSQL.init(sc)
# Creating DataFrame for the "sensordata" Cloudant DB
sensorDataDF <- read.df(sqlContext, database, header='true', source = "com.cloudant.spark",inferSchema='true')
# Get basic information about the DataFrame(sensorDataDF)
printSchema(sensorDataDF)

---

非常感谢您的帮助。

在迁移到0.6.1之后，我遇到了同样的问题。问题是齐柏林飞艇是用Scala2.11构建的，ApacheSark1.6.2是用Scala2.10构建的。

---

您需要使用scala 2.11构建spark 1.6.x，或者将spark代码迁移到2.0.0

在迁移到0.6.1之后，我遇到了同样的问题。问题是齐柏林飞艇是用Scala2.11构建的，ApacheSark1.6.2是用Scala2.10构建的。

---

您需要使用scala 2.11构建spark 1.6.x，或者将spark代码迁移到2.0.0

在解释器部分设置本地[2]修复了我的问题。这最初是由vgunnu提出的

---

“尝试将spark master设置为本地[2]，如果这样做有效，您可能会在env文件中丢失一些环境变量–vgunnu 8月25日4:37”

在解释器部分设置本地[2]修复了我的问题。这最初是由vgunnu提出的

---

“尝试将spark master设置为本地[2]，如果这样做有效，您可能会在env文件中丢失一些环境变量–vgunnu 8月25日4:37”

尝试将spark master设置为本地[2]，如果这样做有效，您可能会在env文件中丢失一些环境变量尝试将spark master设置为本地[2]，如果这样做有效，您可能在env文件中遗漏了一些环境变量我现在正面临Spark2.0.0和scala 2.11.6的问题。齐柏林飞艇0.6.2有什么更新吗？我在Spark 2.0.1和齐柏林飞艇0.6.2中遇到了这个问题。我现在在Spark2.0.0和scala 2.11.6中遇到了这个问题。齐柏林飞艇0.6.2有什么更新吗？我对Spark 2.0.1和齐柏林飞艇0.6.2有这个问题。

ERROR [2016-08-25 03:28:37,336] (
{Thread-77}
JobProgressPoller.java[run]:54) - Can not get or update progress
org.apache.zeppelin.interpreter.InterpreterException: org.apache.thrift.transport.TTransportException
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getProgress(RemoteInterpreter.java:373)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.getProgress(LazyOpenInterpreter.java:111)
at org.apache.zeppelin.notebook.Paragraph.progress(Paragraph.java:237)
at org.apache.zeppelin.scheduler.JobProgressPoller.run(JobProgressPoller.java:51)
Caused by: org.apache.thrift.transport.TTransportException
at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132)
at org.apache.thrift.transport.TTransport.readAll(TTransport.java:86)
at org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69)
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.recv_getProgress(RemoteInterpreterService.java:296)
at org.apache.zeppelin.interpreter.thrift.RemoteInterpreterService$Client.getProgress(RemoteInterpreterService.java:281)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreter.getProgress(RemoteInterpreter.java:370)
... 3 more