Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java ApacheSpark库内容_Java_Apache Spark_Apache Spark Mllib - Fatal编程技术网

Java ApacheSpark库内容

Java ApacheSpark库内容,java,apache-spark,apache-spark-mllib,Java,Apache Spark,Apache Spark Mllib,我正在尝试使用ApacheSpark的MLlib库运行Java测试程序 我从他们的网站上下载了最新版本的Spark,并按照O'reilly的书《学习Spark,闪电般快速的大数据分析》查找有用的示例和提示,但当涉及到导入正确的库时,他们(以及我在谷歌上找到的其他教程)使用我下载的Spark文件夹中未包含的类 以下是一个例子: 大多数教程都导入org.apache.spark.mllib.regression.LabeledPoint,这在我的例子中并不存在。我只有: 爪哇硅钙石 JavaLin

我正在尝试使用ApacheSpark的MLlib库运行Java测试程序

我从他们的网站上下载了最新版本的Spark,并按照O'reilly的书《学习Spark,闪电般快速的大数据分析》查找有用的示例和提示,但当涉及到导入正确的库时,他们(以及我在谷歌上找到的其他教程)使用我下载的Spark文件夹中未包含的类

以下是一个例子:

大多数教程都导入org.apache.spark.mllib.regression.LabeledPoint,这在我的例子中并不存在。我只有:

  • 爪哇硅钙石
  • JavaLinearRegressionSuite
  • JavaRidgeRegressionSuite
我对图书馆中应该包含的所有其他文件都有同样的问题。我尝试下载旧版本,但仍然是一样的,即使是与MLlib没有直接关系的文件(org.apache.spark.SparkConf和org.apache.spark.api.java.*文件)

我是漏了一步,还是有人知道

谢谢

编辑

本书第一个示例所需的导入:

import org.apache.spark.mllib.classification.LogisticRegressionModel;
import org.apache.spark.mllib.classification.LogisticRegressionWithSGD;
import org.apache.spark.mllib.feature.HashingTF;
import org.apache.spark.mllib.linalg.Vector;
import org.apache.spark.mllib.regression.LabeledPoint;
我从以下网址下载:

火花释放:1.2.1

包类型:源代码

下载类型:直接下载


(这是我关于堆栈溢出的第一篇文章,如果我做错了,请毫不犹豫地告诉我)

为了获得所需的jar,您必须编译下载的源代码(如果您不熟悉此工具,我建议您下载预构建版本)

构建完成后,您将在
yourSparkFolder/spark-1.2.1/mllib/target
中找到所需的jar


请注意,这只会解决此特定问题。Spark mlibs列出了各种依赖项。就个人而言,我在spark项目中使用maven管理了这些功能(您可以找到所需的依赖项)。

也许这会对您有所帮助


org.apache.spark
spark-mllib_2.10
1.3.0

请您添加一个简短的代码示例,其中包含必要的导入内容和您下载的spark软件包的链接,好吗?为了更好地设置文本格式,我在主帖子中添加了它们。谢谢,我会看一看,然后告诉您我是否可以重现您的问题!关于你的帖子本身,你可能想减轻一点(现在有很多词:)、指出你收到的错误消息(如果有的话),然后发布一篇文章。另外,如果你能指出你如何编译你的程序(命令行、maven、eclipse等等),那就太好了也许我不清楚,但下载的源代码中没有可包含的jar。。。即使是官方示例也依赖于下载源中不存在的文件。