Java 在hadoop集群上运行作业
我想提交hadoop集群上的作业,但出现了此错误。你知道我怎么修吗?或者至少一般来说,有什么可能性Java 在hadoop集群上运行作业,java,hadoop,Java,Hadoop,我想提交hadoop集群上的作业,但出现了此错误。你知道我怎么修吗?或者至少一般来说,有什么可能性 java.lang.IllegalArgumentException: Can not create a Path from a null string at org.apache.hadoop.fs.Path.checkPathArg(Path.java:87) at org.apache.hadoop.fs.Path.<init>(Path.java:99) Can
java.lang.IllegalArgumentException: Can not create a Path from a null string
at org.apache.hadoop.fs.Path.checkPathArg(Path.java:87)
at org.apache.hadoop.fs.Path.<init>(Path.java:99)
Can not create a Path from a null string
null
您正在使用的命令是什么?我更新了问题。我们还需要查看job_submit.sh的内容。我推测,如果将
-Dk=v
参数移动到$submit_脚本之后,它可能会起作用-泛型参数必须放在非泛型参数之前。
#!/bin/bash
SUBMIT_SCRIPT=/usr/local/job_submit.sh
JAR_LOC="$PWD/Models.jar"
ORG_ID="2"
INPUT_LOC=/starting/part*
OUTPUT_LOC=/user/v/output
hadoop fs -rm -r ${OUTPUT_LOC}
LIB="$JAR_LOC" \
$SUBMIT_SCRIPT \
-j DataJob \
-m PassThrough -r PassThrough \
-DinputPath=${INPUT_LOC}\
-DoutputPath=${OUTPUT_LOC}
#hadoop fs -cat ${OUTPUT_LOC}/part* > out.txt