spark通过java代码提交
我正在尝试通过Java代码提交spark。我指的是下面的例子 但是我越来越spark通过java代码提交,java,maven,hadoop,apache-spark,yarn,Java,Maven,Hadoop,Apache Spark,Yarn,我正在尝试通过Java代码提交spark。我指的是下面的例子 但是我越来越 The constructor ClientArguments(String[], SparkConf) is undefined 这是我的密码 import org.apache.spark.deploy.yarn.Client; import org.apache.spark.deploy.yarn.ClientArguments; import org.apache.hadoop.conf.Configurat
The constructor ClientArguments(String[], SparkConf) is undefined
这是我的密码
import org.apache.spark.deploy.yarn.Client;
import org.apache.spark.deploy.yarn.ClientArguments;
import org.apache.hadoop.conf.Configuration;
import org.apache.spark.SparkConf;
public class SparkSubmitJava {
public static void main(String[] arguments) throws Exception {
String[] args = new String[] {"--name", "myname", "--jar", "/home/cloudera/Desktop/ScalaTest.jar", "--class", "ScalaTest.ScalaTest.ScalaTest", "--arg","3", "--arg", "yarn-cluster"};
Configuration config = new Configuration();
System.setProperty("SPARK_YARN_MODE", "true");
SparkConf sparkConf = new SparkConf();
ClientArguments cArgs = new ClientArguments(args, sparkConf); // getting constructor error
Client client = new Client(cArgs, config, sparkConf); // getting constructor error
client.run();
}
}
my pom.xml依赖项部分:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.3.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-yarn_2.9.3</artifactId>
<version>0.8.1-incubating</version>
</dependency>
org.apache.spark
spark-core_2.10
1.3.0
org.apache.spark
火花丝2.9.3
0.8.1-孵化
Ant的帮助将不胜感激。考虑到您从pom.xml中共享的内容,这里是您的问题:您使用的是非常旧版本的spark Thread library
0.8.1-Cubating
,您需要将其替换为spark core的相应版本。由于您使用的是Spark 1.3,因此这是您需要的依赖项,而不是您正在使用的依赖项:
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-yarn_2.10</artifactId>
<version>1.3.0</version>
</dependency>
org.apache.spark
火花丝2.10
1.3.0
其次,您使用的是scala-wise库的不兼容版本。请注意,
\u 2.10
和\u 2.9.3
非常重要。它们允许您使用每个依赖项的特定scala编译版本,因此您应该注意这一点。您可以共享maven pom.xml吗?我没有错误。我现在肯定会分享你..你用gradle吗?不,我用的是maven。(你的问题被标记为maven)好的,我添加了我的pom.xml依赖项。你现在可以检查吗??org.apache.spark spark-core_2.10 1.3.0 org.apache.spark spark-warn_2.9.3 0.8.1-孵化