Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 尝试运行SparkPi示例时发生ClassNotFoundException_Apache Spark_Scala 2.10 - Fatal编程技术网

Apache spark 尝试运行SparkPi示例时发生ClassNotFoundException

Apache spark 尝试运行SparkPi示例时发生ClassNotFoundException,apache-spark,scala-2.10,Apache Spark,Scala 2.10,我正在尝试运行文档中的第一个示例,其中说明: Spark在Java 6+和Python 2.6+上运行。对于Scala API,Spark 1.0.0 使用Scala 2.10。您需要使用兼容的Scala版本 (2.10.x) 运行命令时会发生这种情况: ./bin/run-example examples/src/main/scala/org/apache/spark/examples/SparkPi.scala 10 Exception in thread "main" java.lan

我正在尝试运行文档中的第一个示例,其中说明:

Spark在Java 6+和Python 2.6+上运行。对于Scala API,Spark 1.0.0 使用Scala 2.10。您需要使用兼容的Scala版本 (2.10.x)

运行命令时会发生这种情况:

./bin/run-example examples/src/main/scala/org/apache/spark/examples/SparkPi.scala 10


Exception in thread "main" java.lang.ClassNotFoundException: org.apache.spark.examples.examples/src/main/scala/org/apache/spark/examples/SparkPi.scala
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:270)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:289)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
我正在使用Hadoop2(HDP2,CDH5)的版本

已经试用过scala 2.9.3、2.10.3和2.11


一些想法?

您需要指定示例类的名称,而不是源文件的路径;试一试

./bin/run-example SparkPi 10

Spark文档部分对此进行了描述。

谢谢Josh,但现在我有了:
java.lang.ClassNotFoundException:org.apache.Spark.examples.SparkPi.scala
有什么线索吗?您运行的确切命令是什么?您是否尝试过使用
.scala
扩展名运行示例SparkPi.scala 10?请尝试将其忽略,因为这不是类名的一部分。请再次查看文档。您的命令与之不匹配。这个参数就是“SparkPi”