Unix cron中的spark提交调度

我想在crontab中安排一个pyspark脚本，每5分钟运行一次。我已使用以下命令成功手动启动脚本：

spark-submit script.py

问题是，从crontab启动时，相同的命令似乎不起作用。日志不显示任何详细信息（它们被截断）

文件script.sh包含：spark submit script.py

---

如果您对如何解决此问题有任何想法，请告诉我。

您应该将其放入bash文件中，并在cron上运行此文件：

Bash文件

您的脚本.sh

：

#!/bin/bash
echo "RUNNING JOB"
/opt/mapr/spark/spark-1.5.2/bin/spark-submit /Path/To/Your_Script.py parama1

因此，您可以从crantab轻松运行它，如下所示：

32 18 * * *  /Path/To/Your_Script.sh

---

我遇到了与您相同的问题。我通过两个步骤解决了它：

请参阅cron日志：在Centos中，日志的路径是/var/spool/mail/${username}。 我的日志显示：找不到hadoop和$JAVA_HOME

source/etc/profile

：因为在我的操作系统的/etc/profile中配置了$JAVA\u HOME和$HADOOP\u HOME。如果在~/.bashrc中配置了$JAVA_HOME和$HADOOP_HOME，则应

source ~/.bashrc

---

有趣的阅读：调试crontab。可能有很多不同的原因，所以请查看它谢谢你的链接！我做了一些测试，crontab似乎可以执行其他命令。问题在于，由于某些原因，它与spark-submit不“兼容”。请考虑通过您的bin提交路径更改

/opt/mapr/spark/spark-1.5.2/

。

32 18 * * *  /Path/To/Your_Script.sh