Java ApacheSpark库内容
我正在尝试使用ApacheSpark的MLlib库运行Java测试程序 我从他们的网站上下载了最新版本的Spark,并按照O'reilly的书《学习Spark,闪电般快速的大数据分析》查找有用的示例和提示,但当涉及到导入正确的库时,他们(以及我在谷歌上找到的其他教程)使用我下载的Spark文件夹中未包含的类 以下是一个例子: 大多数教程都导入org.apache.spark.mllib.regression.LabeledPoint,这在我的例子中并不存在。我只有:Java ApacheSpark库内容,java,apache-spark,apache-spark-mllib,Java,Apache Spark,Apache Spark Mllib,我正在尝试使用ApacheSpark的MLlib库运行Java测试程序 我从他们的网站上下载了最新版本的Spark,并按照O'reilly的书《学习Spark,闪电般快速的大数据分析》查找有用的示例和提示,但当涉及到导入正确的库时,他们(以及我在谷歌上找到的其他教程)使用我下载的Spark文件夹中未包含的类 以下是一个例子: 大多数教程都导入org.apache.spark.mllib.regression.LabeledPoint,这在我的例子中并不存在。我只有: 爪哇硅钙石 JavaLin
- 爪哇硅钙石
- JavaLinearRegressionSuite
- JavaRidgeRegressionSuite
import org.apache.spark.mllib.classification.LogisticRegressionModel;
import org.apache.spark.mllib.classification.LogisticRegressionWithSGD;
import org.apache.spark.mllib.feature.HashingTF;
import org.apache.spark.mllib.linalg.Vector;
import org.apache.spark.mllib.regression.LabeledPoint;
我从以下网址下载:
火花释放:1.2.1
包类型:源代码
下载类型:直接下载
(这是我关于堆栈溢出的第一篇文章,如果我做错了,请毫不犹豫地告诉我)为了获得所需的jar,您必须编译下载的源代码(如果您不熟悉此工具,我建议您下载预构建版本) 构建完成后,您将在
yourSparkFolder/spark-1.2.1/mllib/target
中找到所需的jar
请注意,这只会解决此特定问题。Spark mlibs列出了各种依赖项。就个人而言,我在spark项目中使用maven管理了这些功能(您可以找到所需的依赖项)。也许这会对您有所帮助
org.apache.spark
spark-mllib_2.10
1.3.0
请您添加一个简短的代码示例,其中包含必要的导入内容和您下载的spark软件包的链接,好吗?为了更好地设置文本格式,我在主帖子中添加了它们。谢谢,我会看一看,然后告诉您我是否可以重现您的问题!关于你的帖子本身,你可能想减轻一点(现在有很多词:)、指出你收到的错误消息(如果有的话),然后发布一篇文章。另外,如果你能指出你如何编译你的程序(命令行、maven、eclipse等等),那就太好了也许我不清楚,但下载的源代码中没有可包含的jar。。。即使是官方示例也依赖于下载源中不存在的文件。