Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何将mllibapachespark库安装到javaeclpise项目中?_Java_Apache Spark_Machine Learning_Apache Spark Mllib - Fatal编程技术网

如何将mllibapachespark库安装到javaeclpise项目中?

如何将mllibapachespark库安装到javaeclpise项目中?,java,apache-spark,machine-learning,apache-spark-mllib,Java,Apache Spark,Machine Learning,Apache Spark Mllib,我想使用Spark MLlib库为我的Java项目实现一些机器学习算法。我试过几次教程都没有成功 我已经习惯于使用eclipse,并且对它的设置如此困难感到惊讶。我的假设是,我只需要从下载库并将jar添加到构建路径中,但显然这似乎更加困难 创建一个maven项目并添加以下依赖项(适用于Spark最新版本2.0.0)。您可以从在eclipse中运行类似JavaALSExample.java的简单程序开始 spark github存储库中有更多java示例可供参考。希望这有帮助 <depen

我想使用Spark MLlib库为我的Java项目实现一些机器学习算法。我试过几次教程都没有成功


我已经习惯于使用eclipse,并且对它的设置如此困难感到惊讶。我的假设是,我只需要从下载库并将jar添加到构建路径中,但显然这似乎更加困难

创建一个maven项目并添加以下依赖项(适用于Spark最新版本2.0.0)。您可以从在eclipse中运行类似JavaALSExample.java的简单程序开始

spark github存储库中有更多java示例可供参考。希望这有帮助

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>2.0.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.0.0</version>
</dependency>

org.apache.spark
spark-core_2.11
2.0.0
org.apache.spark
spark-mllib_2.11
2.0.0
org.apache.spark
spark-sql_2.11
2.0.0

谢谢您的回答。您能告诉我,如果我必须解压缩spark库,并且将上面的行添加到pom.xml中是否足够吗?当您添加上述依赖项时,运行spark mllib示例所需的所有jar文件都将下载到您当地的maven存储库中。只有在不使用maven项目的情况下,才能手动下载并在eclipse构建路径中包含所需的jar文件。推荐使用maven。非常感谢。我采纳了你的建议,创建了一个maven项目。我想我差不多有了。我刚刚得到这个*一个主URL必须在你的配置中设置*异常,我不知道我们要设置它。使用这个。SparkSession spark=SparkSession.builder().appName(“JavaALSExample”).config(“spark.sql.warehouse.dir”,“/file:C:/temp”).master(“local[2]”。getOrCreate();很好,现在它可以毫无例外地编译了。我想我现在可以开始测试了。非常感谢你。