Java ApacheSpark:Scala示例的问题
我正在尝试学习使用ApacheSpark,我对一个简单的示例有一个问题,但我找不到解决方案。我正在用Java-7-Oracle和scala 2.9.3开发Ubuntu13.04。 当我尝试运行SparkPi示例时,我得到以下输出:Java ApacheSpark:Scala示例的问题,java,scala,ubuntu,apache-spark,Java,Scala,Ubuntu,Apache Spark,我正在尝试学习使用ApacheSpark,我对一个简单的示例有一个问题,但我找不到解决方案。我正在用Java-7-Oracle和scala 2.9.3开发Ubuntu13.04。 当我尝试运行SparkPi示例时,我得到以下输出: filippo@filippo-HP-Pavilion-dv6-Notebook-PC:/usr/local/spark$ ./bin/run-example SparkPi 10 java.lang.ClassNotFoundException: org.apach
filippo@filippo-HP-Pavilion-dv6-Notebook-PC:/usr/local/spark$ ./bin/run-example SparkPi 10
java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:270)
at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:337)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
这是Spark文档中显示的示例,但我不明白问题出在哪里:(您可能下载了源代码版本,而不是预构建的版本
要使用sbt构建和组装,您可以在spark根目录中运行
sbt assembly
。您的安装目录是/usr/local/spark,其中不包含所需的类
尝试将下载的tgz文件从.Cd解压到目录中,然后运行示例命令
运行bin/run example时,确保您拥有lib/spark-examples-XXX-YYY.jar您可以编写您的spark版本和您尝试遵循的文档吗?spark版本1.1.1,以下是文档:我下载了一个预构建版本:)解决方案是命令
sbt/sbt clean assembly
!这样,示例将正确运行!:)奇怪的如果您下载了预构建版本,您不需要自己构建它。