Scala spark 1.3.0'中SchemaRDD的声明在哪里;s API

Scala spark 1.3.0'中SchemaRDD的声明在哪里;s API,scala,apache-spark,Scala,Apache Spark,这些代码报告了IDEA中的错误,为什么 val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.createSchemaRDD val people = sc.textFile("c3/test.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)) people.registerTempTable("people") 除

这些代码报告了IDEA中的错误,为什么

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.createSchemaRDD
val people = sc.textFile("c3/test.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt))
people.registerTempTable("people")
  • 除了导入sqlContext.createSchemaRDD之外,还有其他方法可以将
    sqlContext
    转换为
    SchemaRDD

  • 我在spark api文档中找不到
    SchemaRDD
    类,为什么


  • 在Apache Spark 1.3.0中,
    SchemaRDD
    已重命名为
    DataFrame
    。请参阅。

    您所说的“将
    sqlContext
    转换为
    SchemaRDD
    ”是什么意思
    sqlContext
    允许您访问与
    sparksql
    相关的功能。现在在这些功能中。。。一个是
    createSechemaRDD
    函数,它创建一个返回一个
    SchemaRDD
    。因为
    SchemaRDD
    Spark SQL
    (最初称为Apache Shark)的一部分,它仍然与常规
    Spark
    API分离。另外。。。出现错误的原因是,您没有从
    sqlContext.implicits.\uuu
    导入隐式类型类,该类提供额外的特殊多态功能,使用Spark SQL功能丰富常规Spark数据结构。在Spark>=2.0中,它已重命名为Dataset afaikYes,类似于。仍然有一个
    DataFrame
    类型,但它只是
    Dataset[Row]
    的别名。