Hadoop Spark Scala如何执行
我已经编写了以下代码,它返回一个“未找到类”异常。我不确定将csv文件中的数据加载到SparkSQL中需要做什么Hadoop Spark Scala如何执行,hadoop,apache-spark,cloudera,apache-spark-sql,apache-spark-1.4,Hadoop,Apache Spark,Cloudera,Apache Spark Sql,Apache Spark 1.4,我已经编写了以下代码,它返回一个“未找到类”异常。我不确定将csv文件中的数据加载到SparkSQL中需要做什么 import org.apache.spark.SparkContext /** * Loading sales csv using DataFrame API */ object CsvDataInput { def main(args: Array[String]) { val sc = new SparkContext(args(0), "C
import org.apache.spark.SparkContext
/**
* Loading sales csv using DataFrame API
*/
object CsvDataInput {
def main(args: Array[String]) {
val sc = new SparkContext(args(0), "Csv loading example")
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))
df.printSchema()
df.registerTempTable("data")
val aggDF = sqlContext.sql("select * from data")
println(aggDF.collectAsList())
}
}
试着换掉这条线
import org.apache.spark.SparkContext
用这个
import org.apache.spark.*
您只导入库的一部分,但使用的是来自该部分外部的类。另外,您的导入实际上拼写错误-它应该是
org.apache.spark.sql.SQLContext
,并且您使用了其他一些与提供的代码无关的包。您好,您能提供一些关于以下方面的更多信息吗:您是如何执行此代码的,以及您得到的完整错误?