Python 3.x 如何从命令行使用spark submit运行pyspark docker应用程序?
我正在尝试从命令行使用spark submit运行pyspark docker应用程序 应用程序脚本位于调用spark submit的同一目录中 代码如下:Python 3.x 如何从命令行使用spark submit运行pyspark docker应用程序?,python-3.x,linux,docker,pyspark,spark-submit,Python 3.x,Linux,Docker,Pyspark,Spark Submit,我正在尝试从命令行使用spark submit运行pyspark docker应用程序 应用程序脚本位于调用spark submit的同一目录中 代码如下: user@ubuntu$ pwd /home/ubuntu/ user@ubuntu$ ls test_spark.py ## Attempt 1 user@ubuntu$ docker run --rm -it --link master:master htc/spark-submit spark-submit --master spa
user@ubuntu$ pwd
/home/ubuntu/
user@ubuntu$ ls
test_spark.py
## Attempt 1
user@ubuntu$ docker run --rm -it --link master:master htc/spark-submit spark-submit --master spark://172.17.0.1:7077 /home/ubuntu/test_spark.py
## Attempt2
user@ubuntu$ docker run --rm -it --link master:master htc/spark-submit spark-submit --master spark://172.17.0.1:7077 test_spark.py
但脚本在上述两种情况下抛出的错误都是“没有这样的文件”
想知道spark应用程序如何从同一目录运行吗
谢谢如果您试图在容器中运行文件,您不应该将文件放在docker中吗???谢谢@Inder的重播。。那么,如果我在本例中保存在htc/spark submit容器中,我应该如何调用脚本呢?您可以指定在
入口点
中,可以在附加的链接上访问更多相同的内容。