Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/linux/28.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 3.x 如何从命令行使用spark submit运行pyspark docker应用程序?_Python 3.x_Linux_Docker_Pyspark_Spark Submit - Fatal编程技术网

Python 3.x 如何从命令行使用spark submit运行pyspark docker应用程序?

Python 3.x 如何从命令行使用spark submit运行pyspark docker应用程序?,python-3.x,linux,docker,pyspark,spark-submit,Python 3.x,Linux,Docker,Pyspark,Spark Submit,我正在尝试从命令行使用spark submit运行pyspark docker应用程序 应用程序脚本位于调用spark submit的同一目录中 代码如下: user@ubuntu$ pwd /home/ubuntu/ user@ubuntu$ ls test_spark.py ## Attempt 1 user@ubuntu$ docker run --rm -it --link master:master htc/spark-submit spark-submit --master spa

我正在尝试从命令行使用spark submit运行pyspark docker应用程序

应用程序脚本位于调用spark submit的同一目录中

代码如下:

user@ubuntu$ pwd
/home/ubuntu/
user@ubuntu$ ls
test_spark.py

## Attempt 1
user@ubuntu$ docker run --rm -it --link master:master htc/spark-submit spark-submit --master spark://172.17.0.1:7077 /home/ubuntu/test_spark.py 

## Attempt2
user@ubuntu$ docker run --rm -it --link master:master htc/spark-submit spark-submit --master spark://172.17.0.1:7077 test_spark.py 
但脚本在上述两种情况下抛出的错误都是“没有这样的文件”

想知道spark应用程序如何从同一目录运行吗


谢谢

如果您试图在容器中运行文件,您不应该将文件放在docker中吗???谢谢@Inder的重播。。那么,如果我在本例中保存在htc/spark submit容器中,我应该如何调用脚本呢?您可以指定在
入口点
中,可以在附加的链接上访问更多相同的内容。