Apache spark spark submit找不到python脚本_Apache Spark

Apache spark spark submit找不到python脚本

apache-spark

Apache spark spark submit找不到python脚本,apache-spark,Apache Spark,我得到以下错误 16/06/29 15:04:36 ERROR SparkContext: Error initializing SparkContext. java.io.FileNotFoundException: Added file file:/path/to/app/model_app.py does not exist. 当我运行命令时 local:~ noob$ spark-submit --master local[*] --jars /path/to/jar/mysql-co

我得到以下错误

16/06/29 15:04:36 ERROR SparkContext: Error initializing SparkContext.
java.io.FileNotFoundException: Added file file:/path/to/app/model_app.py does not exist.

当我运行命令时

local:~ noob$ spark-submit --master local[*] --jars /path/to/jar/mysql-connector-java-5.0.8-bin.jar /path/to/app/model_app.py

我的环境变量如下

export SPARK_HOME=/Users/noob/spark-1.5.0-bin-hadoop2.6
export PATH=$PATH:/bin:/usr/bin:/usr/local/bin:/sbin:/usr/sbin:/usr/local/sbin:$SPARK_HOME/bin:$SPARK_HOME/jars
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

如果我将python脚本移动到

$SPARK_HOME/python

并从该文件夹运行SPARK submit，那么一切都会正常运行

如果我将

/path/to/app

添加到

$PYTHONPATH

或

$path

，我仍然会得到文件未找到错误

运行spark应用程序显然比将app.py脚本添加到

$spark\u HOME/python

文件夹中，然后从文件夹中运行它更好

我错过了什么？还有什么是按计划运行spark作业的好方法（如cron作业）