Java 使用Spark submit时如何提交参数?
我需要帮助在使用火花提交请Java 使用Spark submit时如何提交参数?,java,apache-spark,spark-submit,Java,Apache Spark,Spark Submit,我需要帮助在使用火花提交请 ./bin/spark-submit --master spark://127.0.0.1:7077 --class Main --jars jars/test.jar firstArgs secondArgs 这是我的spark命令,用于启动spark提交并运行test.jar主方法 我的test.jar是java文件,示例代码如下 public class Main { public static void main(String[] args) { Sy
./bin/spark-submit --master spark://127.0.0.1:7077 --class Main --jars jars/test.jar firstArgs secondArgs
这是我的spark命令,用于启动spark提交并运行test.jar主方法
我的test.jar是java文件,示例代码如下
public class Main {
public static void main(String[] args) {
System.out.println("Hello World, Im testing my patience");
System.out.println("TEST ! : " + args[0]);
System.out.println("TESTEST ! : " + args[1]);
}
}
这个
所以我的理想结果应该是
测试!:第一个
测试员!:二等兵
但是,相反,我得到了
DependencyUtils: Local jar /home/me/server/spark-3.1.1-bin-hadoop3.2/firstArgs
当我输入我的应用程序参数时
~~--jars jars/test.jar firstArg secondArg
spark submit尝试将firstArg作为jar文件而不是参数:(
如何修复命令行,使其正确地显示我的第一个参数和第二个参数
我试着看了一些关于如何使用--application参数的帖子,但是所有的示例代码看起来都和我的没有什么不同….(至少在我看来)我似乎无法在命令行中找到问题所在。请帮助我:(如果你这样做的话
spark submit的最后一个参数是jar
(不含--jars
),接下来的所有内容都是程序的参数
尝试:
application jar:绑定jar的路径,包括您的应用程序和所有依赖项。URL必须在集群中全局可见,例如,所有节点上都存在一个hdfs://路径或一个file://路径。谢谢!它成功了!除了我有另一个错误,但至少我的参数正在工作。非常感谢!哦,我修复了er谢谢你的评论,一切正常,谢谢!
./bin/spark-submit --master spark://127.0.0.1:7077 --class Main jars/test.jar firstArgs secondArgs