Apache spark 带spark 1.5.2独立群集的齐柏林飞艇错误
我已将齐柏林飞艇0.5.5二进制文件下载到redhat 6.3实例中。我还成功地构建了spark 1.5.2。现在,我想让齐柏林飞艇使用spark版本,而不是齐柏林飞艇附带的预编译版本 为此,我对conf/进行了编辑,使其仅包含以下未注释行:Apache spark 带spark 1.5.2独立群集的齐柏林飞艇错误,apache-spark,apache-zeppelin,apache-spark-1.5,Apache Spark,Apache Zeppelin,Apache Spark 1.5,我已将齐柏林飞艇0.5.5二进制文件下载到redhat 6.3实例中。我还成功地构建了spark 1.5.2。现在,我想让齐柏林飞艇使用spark版本,而不是齐柏林飞艇附带的预编译版本 为此,我对conf/进行了编辑,使其仅包含以下未注释行: export SPARK_HOME=/home/eron/spark-1.5.2/ 我还编辑了齐柏林飞艇GUI,因此现在我有了主集: master = spark://master:7077 然后单击“重新启动”,并尝试再次阅读教程: val bank
export SPARK_HOME=/home/eron/spark-1.5.2/
我还编辑了齐柏林飞艇GUI,因此现在我有了主集:
master = spark://master:7077
然后单击“重新启动”,并尝试再次阅读教程:
val bankText = sc.textFile("/mnt/zeppelin-0.5.5-incubating-bin-all/bank.csv")
org.apache.thrift.transport.ttTransportException位于
org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132)
位于org.apache.thrift.transport.tttransport.readAll(tttransport.java:86)
在
org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:429)
在
org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:318)
在
org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:219)
在
org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69)
在
org.apache.zeppelin.translator.thrift.RemoteTranslatorService$Client.recv_-explation(RemoteTranslatorService.java:220)
在
org.apache.zeppelin.interpreter.thrift.remote解释器服务$Client.exploration(remote解释器服务.java:205)
在
org.apache.zeppelin.explorer.remote.remoteexplorer.exploration(remoteexplorer.java:211)
在
org.apache.zeppelin.explorer.lazyOpenExplorer.explor(lazyOpenExplorer.java:93)
在org.apache.zeppelin.notebook.paragration.jobRun上(paragration.java:207)
位于org.apache.zeppelin.scheduler.Job.run(Job.java:170)
org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:304)
在
Executors$RunnableAdapter.call(Executors.java:471)
在java.util.concurrent.FutureTask.run(FutureTask.java:262)中
java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178)
在
java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292)
在
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
在
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
运行(Thread.java:745)
还有,只是做
sc
收益率:
java.net.ConnectException:连接在被拒绝
java.net.PlainSocketImpl.socketConnect(本机方法)位于
java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:339)
在
java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:200)
在
java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:182)
位于java.net.socksocketimpl.connect(socksocketimpl.java:392)
java.net.Socket.connect(Socket.java:579)位于
org.apache.thrift.transport.TSocket.open(TSocket.java:182)位于
org.apache.zeppelin.解释器.remote.ClientFactory.create(ClientFactory.java:51)
在
org.apache.zeppelin.解释器.remote.ClientFactory.create(ClientFactory.java:37)
在
org.apache.commons.pool2.BasePooledObjectFactory.makeObject(BasePooledObjectFactory.java:60)
在
org.apache.commons.pool2.impl.GenericObjectPool.create(GenericObjectPool.java:861)
在
org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:435)
在
org.apache.commons.pool2.impl.GenericObjectPool.borrowObject(GenericObjectPool.java:363)
在
org.apache.zeppelin.explorer.remote.remoteExplorerProcess.getClient(remoteExplorerProcess.java:139)
在
org.apache.zeppelin.explorer.remote.remoteexplorer.exploration(remoteexplorer.java:192)
在
org.apache.zeppelin.explorer.lazyOpenExplorer.explor(lazyOpenExplorer.java:93)
在org.apache.zeppelin.notebook.paragration.jobRun上(paragration.java:207)
位于org.apache.zeppelin.scheduler.Job.run(Job.java:170)
org.apache.zeppelin.scheduler.RemoteScheduler$JobRunner.run(RemoteScheduler.java:304)
在
Executors$RunnableAdapter.call(Executors.java:471)
在java.util.concurrent.FutureTask.run(FutureTask.java:262)中
java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:178)
在
java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:292)
在
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
在
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
在java.lang.Thread.run(Thread.java:745)上运行需要0秒
你知道我做错了什么吗?齐柏林飞艇0.5.5版本不适用于任何高于1.5.0的Apache spark版本,因此你需要从github下载齐柏林飞艇0.6.0,并使用命令“mvn clean package-Pspark-1.5-DskipTests”重新编译齐柏林飞艇0.5.5默认构建spark 1.4 齐柏林飞艇0.5.5版本不适用于任何高于1.5.0的Apache spark版本,因此您需要从github下载齐柏林飞艇0.6.0,并使用命令“mvn clean package-Pspark-1.5-DskipTests”重新编译默认情况下齐柏林飞艇0.5.5构建spark 1.4 谢谢你的信息。这在齐柏林飞艇网络上不是很清楚。非常感谢帕纳什!!谢谢你的信息。这在齐柏林飞艇网络上不是很清楚。非常感谢帕纳什!!