Apache spark 使用Livy Rest请求提交的Spark字数计算作业进入死状态
我正在运行一个使用Livy的spark字数计算程序(使用spark submit在没有Livy的情况下运行它效果很好)。使用Livy Rest请求提交作业时,它返回作业id,如下所示:Apache spark 使用Livy Rest请求提交的Spark字数计算作业进入死状态,apache-spark,cloudera,livy,Apache Spark,Cloudera,Livy,我正在运行一个使用Livy的spark字数计算程序(使用spark submit在没有Livy的情况下运行它效果很好)。使用Livy Rest请求提交作业时,它返回作业id,如下所示: curl -X POST --data '{"file": "/home/ubuntu/SparkWordCount/target/Sparkwc.jar", "className": "org.learningspark.simple.WordCount", "files": ["hdfs://sparkmas
curl -X POST --data '{"file": "/home/ubuntu/SparkWordCount/target/Sparkwc.jar", "className": "org.learningspark.simple.WordCount", "files": ["hdfs://sparkmaserip:8020/tmp/input-file"]}' -H "Content-Type: application/json" http://sparkmasterip:8998/batches
答复:
{"id":12,"state":"starting","appId":null,"appInfo":{"driverLogUrl":null,"sparkUiUrl":null},"log":[]}
如果我使用下面的命令检查id为12的作业的状态,它会给出一个“已死亡”的响应:
curl http://sparkmasterip:8998/batches/12
回应
{"id":12,"state":"dead","appId":null,"appInfo":{"driverLogUrl":null,"sparkUiUrl":null}
谢谢我在使用簇模式时遇到了同样的问题,即livy.spark.master=纱线簇。与livy.spark.master=纱线客户配合良好