Java 通过命令行提交Spark应用程序

我有一个Spark应用程序，最初使用maven创建。我将我的maven项目转换成了Eclipse项目，现在我正在通过Eclipse进行工作

我还有我自己版本的Spark源代码，我对其进行了一些修改并添加了其他方法。我能够构建我的Spark版本，并获得Spark core的jar文件

在我的Eclipse项目中，我现在用新构建的spark core jar替换构建路径中的spark core。我能够利用我创建的新方法，并通过Eclipse运行应用程序来验证这一点

现在，我正试图通过命令行提交我的申请。我使用已修改的spark项目中的spark submit命令。当我提交我的jar时，我得到一个错误，说我创建的方法不存在。我不确定我做错了什么。我希望能对我应该做的事情有所了解

更新

---

我现在了解到，我需要从我的定制构建中获得某些JAR。这些到底是什么罐子？据我所知，火花组件罐就是其中之一。还有其他吗？

您的spark submit命令是什么？spark/bin/spark submit--class“SimpleApp”-masterspark://xxx:7077 --total executor cores 32/home/ec2 user/spark1.jar您确定修改后的spark代码已编译到spark程序集jar中吗？它是{spark_home}/lib/下的一个jar，名称类似于spark-assembly-1.3.1-hadoop1.0.4.jar。对于所有主要的spark运行时jar，包括spark-core，它就像uber jar一样。啊，感谢您提供的信息。但是，它看起来好像没有建成。我甚至没有在spark home目录中看到lib文件夹。但是，当我执行spark submit时，我仍然可以提交应用程序。如果我删除我添加的新方法并重新创建我的应用程序jar，它就会运行。程序集jar是否位于其他地方？您的spark submit命令是什么？spark/bin/spark submit--class“SimpleApp”-masterspark://xxx:7077 --total executor cores 32/home/ec2 user/spark1.jar您确定修改后的spark代码已编译到spark程序集jar中吗？它是{spark_home}/lib/下的一个jar，名称类似于spark-assembly-1.3.1-hadoop1.0.4.jar。对于所有主要的spark运行时jar，包括spark-core，它就像uber jar一样。啊，感谢您提供的信息。但是，它看起来好像没有建成。我甚至没有在spark home目录中看到lib文件夹。但是，当我执行spark submit时，我仍然可以提交应用程序。如果我删除我添加的新方法并重新创建我的应用程序jar，它就会运行。程序集jar是否位于其他地方？您的spark submit命令是什么？spark/bin/spark submit--class“SimpleApp”-masterspark://xxx:7077 --total executor cores 32/home/ec2 user/spark1.jar您确定修改后的spark代码已编译到spark程序集jar中吗？它是{spark_home}/lib/下的一个jar，名称类似于spark-assembly-1.3.1-hadoop1.0.4.jar。对于所有主要的spark运行时jar，包括spark-core，它就像uber jar一样。啊，感谢您提供的信息。但是，它看起来好像没有建成。我甚至没有在spark home目录中看到lib文件夹。但是，当我执行spark submit时，我仍然可以提交应用程序。如果我删除我添加的新方法并重新创建我的应用程序jar，它就会运行。组装jar是否位于其他地方？