Apache spark Amazon EMR上的Livy服务器挂起连接到ResourceManager

我正试图在AmazonEMR上部署一个Livy服务器。首先，我建立了利维大师的分支

mvn clean package -Pscala-2.11 -Pspark-2.0

然后，我将其上传到EMR集群主机。我设置了以下配置：

livy env.sh

SPARK_HOME=/usr/lib/spark
HADOOP_CONF_DIR=/etc/hadoop/conf

export SPARK_HOME=/usr/hdp/current/spark-client
export HADOOP_HOME=/usr/hdp/current/hadoop-client/bin/
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_CONF_DIR=$SPARK_HOME/conf
export LIVY_LOG_DIR=/jobserver-livy/logs
export LIVY_PID_DIR=/jobserver-livy
export LIVY_MAX_LOG_FILES=10
export HBASE_HOME=/usr/hdp/current/hbase-client/bin

livy.conf

livy.spark.master = yarn
livy.spark.deployMode = cluster

livy.rsc.rpc.server.address=<Loop Back address>

当我启动Livy时，它在连接到纱线资源管理器时无限期挂起（XX.XX.XXX.XX是IP地址）

但是，当我netcat连接端口8032时，它成功连接

nc -zv XX.XX.XXX.XX 8032
Connection to XX.XX.XXX.XX 8032 port [tcp/pro-ed] succeeded!

---

我想我可能错过了一些步骤。有人知道这一步可能是什么吗？

看看github repo，看起来主分支正在开发中，0.2版本有一个单独的发行分支。安装livy的主要方法（对我来说很有效）是按照快速启动页面中的步骤进行：

下载Livy服务器分发版 解压 开始

---

在解压缩livy-server-0.2.0.zip文件后，我对配置文件做了以下更改

livy env.sh

SPARK_HOME=/usr/lib/spark
HADOOP_CONF_DIR=/etc/hadoop/conf

export SPARK_HOME=/usr/hdp/current/spark-client
export HADOOP_HOME=/usr/hdp/current/hadoop-client/bin/
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SPARK_CONF_DIR=$SPARK_HOME/conf
export LIVY_LOG_DIR=/jobserver-livy/logs
export LIVY_PID_DIR=/jobserver-livy
export LIVY_MAX_LOG_FILES=10
export HBASE_HOME=/usr/hdp/current/hbase-client/bin

livy.conf

livy.spark.master = yarn
livy.spark.deployMode = cluster

livy.rsc.rpc.server.address=<Loop Back address>

livy.rsc.rpc.server.address=

在spark conf文件夹下的“spark defaults.conf”文件中添加“spark.master纱线簇”

---

如果您还有问题，请告诉我。

您可以在log4j.properties中使用以下内容，请发布日志文件

log4j.rootCategory=DEBUG, NotConsole

log4j.appender.NotConsole=org.apache.log4j.RollingFileAppender

log4j.appender.NotConsole.File=/<LIVY SERVER INSTALL PATH>/logs/livy.log

log4j.appender.NotConsole.maxFileSize=20MB

log4j.appender.NotConsole.layout=org.apache.log4j.PatternLayout

log4j.appender.NotConsole.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

log4j.rootCategory=DEBUG，NotConsole
log4j.appender.NotConsole=org.apache.log4j.RollingFileAppender
log4j.appender.NotConsole.File=//logs/livy.log
log4j.appender.NotConsole.maxFileSize=20MB
log4j.appender.NotConsole.layout=org.apache.log4j.patternalyout
log4j.appender.NotConsole.layout.ConversionPattern=%d{yy/MM/dd HH:MM:ss}%p%c{1}:%m%n

请您详细介绍一下您是如何配置Livy的，好吗？赏金即将到期，我会在赏金到期后再启动一个赏金。嘿，Balakrishna，谢谢您的回答！Livy服务器正在启动！然而，所有会话都开始死机。你知道可能是什么问题吗？@matheusr，你能启用调试日志吗？它能工作！然而，我需要建立Livy的主分支。这是因为Livy 0.2不支持Spark 2或Scala 2.11。以上配置是使其工作所需的全部。很高兴听到。Thanks@matheusr，Spark库未加载。请将spark库复制到/jars文件夹。