Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在Livy中以批处理模式提交Python文件（未安装Hadoop）_Python_Apache Spark_Livy - Fatal编程技术网
Fatal编程技术网
  • python/
  • 在Livy中以批处理模式提交Python文件（未安装Hadoop）

在Livy中以批处理模式提交Python文件（未安装Hadoop）

python apache-spark

在Livy中以批处理模式提交Python文件（未安装Hadoop）,python,apache-spark,livy,Python,Apache Spark,Livy,我制作了一个简单的python文件，希望在Livy中提交。Livy目前正在local模式下运行 Property name: livy.file.local-dir-whitelist, value "/usr/local/livy/scripts" 我的文件保存在以下路径“/usr/local/livy/scripts” 我使用curl提交它，如下所示： curl -X POST --data '{"file": "/usr/local/livy/scripts/pi.py"}' -H "

我制作了一个简单的python文件，希望在Livy中提交。Livy目前正在
local
模式下运行

Property name: livy.file.local-dir-whitelist, 
value "/usr/local/livy/scripts"
我的文件保存在以下路径“/usr/local/livy/scripts”

我使用
curl
提交它，如下所示：

curl -X POST --data '{"file": "/usr/local/livy/scripts/pi.py"}' -H "Content-Type: application/json" 10.140.178.24:8999/batches
它给了我以下错误：

requirement failed: Local path /usr/local/livy/scripts/pi.py cannot be added to user sessions.
我的Ubuntu系统只有以下功能：

a)Spark
b)Livy
c)Java
我做错了什么？

对于第一次使用livy孵化模式的人，请检查模板文件是否重命名为
livy.conf.template
中的剥离
.template
。然后确保其中存在以下配置

livy.spark.master = local
livy.file.local-dir-whitelist = /path/to/script/folder/
请确保路径末尾有
正斜杠

然后按照下面的方式为

Python:


curl -v -X POST --data '{"file": "/path/to/script/folder/name-of-python-file.py"}' -H "Content-Type: application/json" localhost:8998/batches


注意：它不接受相对路径，需要在其中定义整个绝对路径。
curl-X POST--data'{“file”：“/usr/local/livy/scripts/pi.py”}'-H”内容类型：application/json“10.140.178.24:8999/batches

{“id”：2，“state”：“starting”，“log”：[]}
您能再解释一下吗？问题是什么？您的解决方案是如何解决的？

curl -v -X POST --data '{"file": "/path/to/script/folder/name-of-python-file.py"}' -H "Content-Type: application/json" localhost:8998/batches