Scala spark 1.3.0'中SchemaRDD的声明在哪里;s API
这些代码报告了IDEA中的错误,为什么Scala spark 1.3.0'中SchemaRDD的声明在哪里;s API,scala,apache-spark,Scala,Apache Spark,这些代码报告了IDEA中的错误,为什么 val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.createSchemaRDD val people = sc.textFile("c3/test.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)) people.registerTempTable("people") 除
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.createSchemaRDD
val people = sc.textFile("c3/test.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt))
people.registerTempTable("people")
sqlContext
转换为SchemaRDD
SchemaRDD
类,为什么在Apache Spark 1.3.0中,
SchemaRDD
已重命名为DataFrame
。请参阅。您所说的“将sqlContext
转换为SchemaRDD
”是什么意思sqlContext
允许您访问与sparksql
相关的功能。现在在这些功能中。。。一个是createSechemaRDD
函数,它创建一个返回一个SchemaRDD
。因为SchemaRDD
是Spark SQL
(最初称为Apache Shark)的一部分,它仍然与常规Spark
API分离。另外。。。出现错误的原因是,您没有从sqlContext.implicits.\uuu
导入隐式类型类,该类提供额外的特殊多态功能,使用Spark SQL功能丰富常规Spark数据结构。在Spark>=2.0中,它已重命名为Dataset afaikYes,类似于。仍然有一个DataFrame
类型,但它只是Dataset[Row]
的别名。