Apache spark 齐柏林飞艇中的你好世界失败了
我刚刚安装了ApacheZeppelin（从GitRepo的最新源代码构建），并成功地看到它已在端口10008中启动并运行。 我用一行代码创建了一本新的笔记本Apache spark 齐柏林飞艇中的你好世界失败了,apache-spark,apache-zeppelin,Apache Spark,Apache Zeppelin,我刚刚安装了ApacheZeppelin（从GitRepo的最新源代码构建），并成功地看到它已在端口10008中启动并运行。 我用一行代码创建了一本新的笔记本 val a = "Hello World!" 然后运行这一段，看到下面的错误 java.net.ConnectException:连接在被拒绝 java.net.PlainSocketImpl.socketConnect（本机方法）位于 java.net.AbstractPlainSocketImpl.doConnect（Abstrac
val a = "Hello World!"
我的后端是spark 1.5，我通过解释器的web界面验证了齐柏林飞艇指向spark的正确版本并批准了spark.home。我注意到指向spark的url不正确。我纠正了它后，它工作正常。无论如何，谢谢。这个错误也可能是由于齐柏林飞艇尝试时发生的错误造成的创建解释器 齐柏林飞艇在另一个过程中启动解释器，并尝试使用节俭协议连接到解释器 在我的例子中，我在spark-defaults.conf中尝试为spark驱动程序分配5GB时遇到了这个错误 在评论这一行（或分配4g或更少）时会解决此问题 你可以看看这个吉拉 编辑： 此错误可能由阻止Spark解释器进程启动的任何原因引起。 最近，我在尝试将JMX选项添加到ZEPPELIN_JAVA_OPTS时发现，这会导致解释器进程使用与ZEPPELIN进程相同的JMX端口
请检查齐柏林飞艇的日志（默认情况下，它们位于齐柏林飞艇的DIR/logs/中，以查看齐柏林飞艇试图启动Spark解释器时发生了什么情况当
$Spark\u HOME同时，应该能够使用有效的SparkContext使齐柏林飞艇正常运行。希望这对我的情况有用，
（project root）/由于未知原因，没有安装node_模块/zeppelin/spark-2.0.2-bin-hadoop2.7rm-rf node_模块；npm缓存清除；npm iLOG="/tmp/interpreter.sh-$$.log"
date >> $LOG
set -x
exec >> $LOG
exec 2>&1
1. kill -9 `ps -ef | grep zeppelin | grep -v grep | awk '{print $2}'`( *will make sure zombie processes are taken care of*)
2. kill -9 `ps -ef | grep hadoop-yarn-resourcemanager | grep -v grep | awk '{print $2}'`
3. sudo /sbin/restart hadoop-yarn-resourcemanager
4. At times, simply starting the resource-manager does not start the name-node `sudo start hadoop-hdfs-namenode`
5. sudo /usr/lib/zeppelin/bin/zeppelin-daemon.sh start
6. Use telnet to make sure that the default ports are open for required service.
LOG="/tmp/interpreter.sh-$$.log"
date >> $LOG
set -x
exec >> $LOG
exec 2>&1
log4j.rootLogger = INFO, dailyfile
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p [%d] ({%t} %F[%M]:%L) - %m%n
log4j.appender.dailyfile.DatePattern=.yyyy-MM-dd
log4j.appender.dailyfile.Threshold = DEBUG
log4j.appender.dailyfile = org.apache.log4j.DailyRollingFileAppender
log4j.appender.dailyfile.File = ${zeppelin.log.file}
log4j.appender.dailyfile.layout = org.apache.log4j.PatternLayout
log4j.appender.dailyfile.layout.ConversionPattern=%5p [%d] ({%t} %F[%M]:%L) - %m%n
log4j.logger.org.apache.zeppelin.interpreter.InterpreterFactory=DEBUG
log4j.logger.org.apache.zeppelin.notebook.Paragraph=DEBUG
log4j.logger.org.apache.zeppelin.scheduler=DEBUG
log4j.logger.org.apache.zeppelin.livy=DEBUG
log4j.logger.org.apache.zeppelin.flink=DEBUG
log4j.logger.org.apache.zeppelin.spark=DEBUG
log4j.logger.org.apache.zeppelin.python=DEBUG
log4j.logger.org.apache.zeppelin.interpreter.util=DEBUG
log4j.logger.org.apache.zeppelin.interpreter.remote=DEBUG
log4j.logger.org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer=DEBUG
public static String findAvailableHostAddress() throws UnknownHostException, SocketException {
InetAddress address = InetAddress.getLocalHost();
if (address.isLoopbackAddress()) {
for (NetworkInterface networkInterface : Collections
.list(NetworkInterface.getNetworkInterfaces())) {
if (!networkInterface.isLoopback()) {
for (InterfaceAddress interfaceAddress : networkInterface.getInterfaceAddresses()) {
InetAddress a = interfaceAddress.getAddress();
if (a instanceof Inet4Address) {
return a.getHostAddress();
}
}
}
}
}
return address.getHostAddress();
}
ps aux | grep spark
zep/bin/interpreter.sh -d zep/interpreter/spark -c 10.100.37.2 -p 50778 -r : -l /zep/local-repo/spark -g spark