Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/321.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 环境错误:不在PBS作业中_Python_Apache Spark_Pbs - Fatal编程技术网

Python 环境错误:不在PBS作业中

Python 环境错误:不在PBS作业中,python,apache-spark,pbs,Python,Apache Spark,Pbs,我正在尝试使用以下代码将远程群集节点rh7上的一些脚本排队: !/bin/bash PBS-N火花团簇路径 PBS-l select=2:ncpus=4:mem=2G PBS-l walltime=01:00:00 Qsub模板 调度程序:PBS 环境 导出JAVA_HOME=/some/path/to/jdk/1.8.0_112 导出SPARK_HOME=/some/path/to/SPARK/2.2.1 导出PYTHONPATH=/some/path/to/python3.6/dist-pa

我正在尝试使用以下代码将远程群集节点rh7上的一些脚本排队:

!/bin/bash PBS-N火花团簇路径 PBS-l select=2:ncpus=4:mem=2G PBS-l walltime=01:00:00 Qsub模板 调度程序:PBS 环境 导出JAVA_HOME=/some/path/to/jdk/1.8.0_112 导出SPARK_HOME=/some/path/to/SPARK/2.2.1 导出PYTHONPATH=/some/path/to/python3.6/dist-packages 导出PYSPARK_PYTHON=/some/path/to/PYTHON/3.6.5/bin/python3 导出PYSPARK_驱动程序_PYTHON=$PYSPARK_PYTHON 导出路径=$JAVA\u HOME/bin:$SPARK\u HOME/bin:$PYTHONPATH:$PATH /一些/path/to/spark/spark-on-pbs-0.1/pbs-spark-launcher./word_count.py 变量都是正确的,脚本word_count.py独立地工作得非常好,但是当我运行此脚本时,我得到以下错误:

File "/some/path/to/spark/spark-on-pbs-0.1/pbs-spark-launcher", line 118, in <module>
    raise EnvironmentError("Not in a PBS job")
EnvironmentError: Not in a PBS job
谷歌和我在这里都是空白。这个问题从何而来?

引用:

假设和限制

pbs spark submit对其环境做出了两个假设。首先,Spark主进程将在PBS作业的上级节点上运行。其次,Spark程序的工作目录位于分配给作业的节点上共享的文件系统上

通过查看,它似乎期待一个环境变量PBS_JOBID

引用:

假设和限制

pbs spark submit对其环境做出了两个假设。首先,Spark主进程将在PBS作业的上级节点上运行。其次,Spark程序的工作目录位于分配给作业的节点上共享的文件系统上

通过查看,它看起来需要一个环境变量PBS_JOBID