Java 如何从spark运行独立的jar。

我对spark很陌生，只是在学习，所以如果我说话像个新手，请容忍我

我有一个普通的java jar，它是独立的

这个jar的功能是监听队列并处理一些消息。现在的要求是以分布式方式从队列中读取数据，因此我有一个spark主机和三个由Thread管理的从机。当我在独立主机上提交这个jar文件时，一切正常。当我通过在命令行中将纱线设置为主线程来切换到集群模式时，我得到了很多HDFS中找不到的文件错误。 我读了书堆，发现我必须提到SparkContext，但在我的案例中，我看不到它的用处

这里有一些问题：

我还得用电话吗

SparkConf conf = new SparkConf().setMaster("yarn-cluster").setAppName("TibcoMessageConsumer");
        SparkContext sparkContext = new SparkContext(conf);

---

我看不到sparkContext在我的案例中有任何用法

由于您使用的是纱线，请将jar复制到hdfs，然后您可以在spark submit中引用它。如果要使用本地文件系统，必须在所有工作节点中复制该jar[不推荐]

./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode cluster \
 myapp-jar   

/bin/spark提交\
--阶级\
--主人\
--部署模式群集\
myappjar

---

您可以查看此内容以了解更多详细信息

如果没有

SparkContext

，则无法使用

SparkSubmit

运行jar。我在单个节点上成功地做到了这一点！！spark上下文在这里有什么用？如果我说不通，请原谅。spark-submit没有spark上下文就工作了？谢谢，我不知道。我会开始读我能找到的关于这个的资料。是的，伙计，现在我怀疑罐子的分布。因此，我正在将这些文件复制到HDFS，正如user4324225在下面提到的那样，并将检查结果。