Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop Spark Scala如何执行_Hadoop_Apache Spark_Cloudera_Apache Spark Sql_Apache Spark 1.4 - Fatal编程技术网

Hadoop Spark Scala如何执行

Hadoop Spark Scala如何执行,hadoop,apache-spark,cloudera,apache-spark-sql,apache-spark-1.4,Hadoop,Apache Spark,Cloudera,Apache Spark Sql,Apache Spark 1.4,我已经编写了以下代码,它返回一个“未找到类”异常。我不确定将csv文件中的数据加载到SparkSQL中需要做什么 import org.apache.spark.SparkContext /** * Loading sales csv using DataFrame API */ object CsvDataInput { def main(args: Array[String]) { val sc = new SparkContext(args(0), "C

我已经编写了以下代码,它返回一个“未找到类”异常。我不确定将csv文件中的数据加载到SparkSQL中需要做什么

import org.apache.spark.SparkContext

/**

 * Loading sales csv using DataFrame API

 */

object CsvDataInput {

  def main(args: Array[String]) {    

    val sc = new SparkContext(args(0), "Csv loading example")

    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))

    df.printSchema()

    df.registerTempTable("data")

    val aggDF = sqlContext.sql("select * from data")

    println(aggDF.collectAsList())

  } 
}

试着换掉这条线

import org.apache.spark.SparkContext
用这个

import org.apache.spark.*

您只导入库的一部分,但使用的是来自该部分外部的类。另外,您的导入实际上拼写错误-它应该是
org.apache.spark.sql.SQLContext
,并且您使用了其他一些与提供的代码无关的包。

您好,您能提供一些关于以下方面的更多信息吗:您是如何执行此代码的,以及您得到的完整错误?