Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala Spark WordCount的命令行编译中出错_Scala_Apache Spark_Word Count - Fatal编程技术网

Scala Spark WordCount的命令行编译中出错

Scala Spark WordCount的命令行编译中出错,scala,apache-spark,word-count,Scala,Apache Spark,Word Count,我正在尝试使用命令行编译和运行Scala的WordCOunt程序,而不需要任何Maven和sbt支持。 我用来编译scala程序的命令是 scalac-classpath/spark-2.3.0-bin-hadoop2.7/jars/Wordcount.scala import org.apache.spark._ import org.apache.spark.SparkConf /** Create a RDD of lines from a text file, and keep cou

我正在尝试使用命令行编译和运行Scala的WordCOunt程序,而不需要任何Maven和sbt支持。 我用来编译scala程序的命令是

scalac-classpath/spark-2.3.0-bin-hadoop2.7/jars/Wordcount.scala

import org.apache.spark._
import org.apache.spark.SparkConf

/** Create a RDD of lines from a text file, and keep count of
 *  how often each word appears.
 */
object wordcount {

  def main(args: Array[String]) {
      // Set up a SparkContext named WordCount that runs locally using
      // all available cores.
      val conf = new SparkConf().setAppName("WordCount")
      conf.setMaster("local[*]")
      val sc = new SparkContext(conf)
我的研究: 我参考了源代码,发现import语句在 他们需要的罐子。
例如 SparkConf存在于org.apache.spark包中 这是节目中提到的

我面临的错误:

Wordcount.scala:3:错误:**对象apache不是包组织的成员
导入org.apache.spark_
^**

Wordcount.scala:4:错误:**对象apache不是包组织的成员
导入org.apache.spark.SparkConf**
^

Wordcount.scala:14:错误:找不到:**键入SparkConf
val conf=new SparkConf().setAppName(“WordCount”)**
^

Wordcount.scala:16:错误:找不到:**键入SparkContext
val sc=新的SparkContext(配置)**
^

发现四个错误

请尝试以下操作:

scalac -classpath "/spark-2.3.0-bin-hadoop2.7/jars/*" Wordcount.scala
您的问题中提到的scalac命令有问题。如果要从某个目录中选择所有JAR并将其放在类路径中,则需要使用*通配符并将路径用双引号括起来

请参阅:有关详细信息,请尝试以下操作:

scalac -classpath "/spark-2.3.0-bin-hadoop2.7/jars/*" Wordcount.scala
您的问题中提到的scalac命令有问题。如果要从某个目录中选择所有JAR并将其放在类路径中,则需要使用*通配符并将路径用双引号括起来


请参阅:有关详细信息,路径正确。我已经用ls在我这方面验证了很多次-la@RameshMaharjan这是我的源代码,您可以验证您是否得到相同的错误。在您这边使用适当的类路径。我正在跟随一个视频教程,它使用scala IDE编译代码。并使用IDE本身执行。您想说IDE创建并运行jar而不仅仅是编译和运行jar吗?这可能是其中一种方法。这条路是正确的。我已经用ls在我这方面验证了很多次-la@RameshMaharjan这是我的源代码,您可以验证您是否得到相同的错误。在您这边使用适当的类路径。我正在跟随一个视频教程,它使用scala IDE编译代码。并使用IDE本身执行。您想说IDE创建并运行jar而不仅仅是编译和运行jar吗?spark submit可能是其中一种方法如果你能完整地回答这个问题,对别人会有更好的帮助@Sukumaar@LearneriOS,如果它对你有用,那么请接受这个答案:-)如果你能完整地回答它,它将更好地帮助他人@Sukumaar@LearneriOS,如果它对您有效,请接受以下答案:-)