在Eclipse上开发Spark Java应用程序

在Eclipse上开发Spark Java应用程序,eclipse,maven,apache-spark,Eclipse,Maven,Apache Spark,我正在尝试在Eclipse上开发Spark应用程序。过去,我在Eclipse上成功地建立了Spark Scala项目。现在,我想在Eclipse上设置一个Spark Java应用程序。我假设我需要以某种方式使用maven,但我不知道该如何使用它。任何帮助都将不胜感激。谢谢 我最终按照说明为Spark创建了一个Java Maven项目。之后,我通过从包含pom.xml的项目根目录执行mvn Eclipse:Eclipse,将Maven项目转换为Eclipse项目。您可以在Eclipse中将项目创建

我正在尝试在Eclipse上开发Spark应用程序。过去,我在Eclipse上成功地建立了Spark Scala项目。现在,我想在Eclipse上设置一个Spark Java应用程序。我假设我需要以某种方式使用maven,但我不知道该如何使用它。任何帮助都将不胜感激。谢谢

我最终按照说明为Spark创建了一个Java Maven项目。之后,我通过从包含
pom.xml

的项目根目录执行
mvn Eclipse:Eclipse,将Maven项目转换为Eclipse项目。您可以在Eclipse中将项目创建为Maven项目,编辑pom并添加所需的spark依赖项(),然后从提供的JavaSpark开始,根据您试图解决的问题扩展重构。如果您有更具体的问题,我很乐意提供帮助。

如果您使用spark streaming、kafka和其他软件,请在pom中添加以下依赖项

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.10</artifactId>
            <version>1.6.1</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>1.6.1</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.10</artifactId>
            <version>$1.6.1</version>
            <scope>provided</scope>
        </dependency>

org.apache.spark
spark-core_2.10
1.6.1
假如
org.apache.spark
spark-sql_2.10
1.6.1
假如
org.apache.spark
spark-2.10
$1.6.1
假如

此外,我需要采取的最后一步是将spark assembly-*.jar添加到构建路径中+1.