Scala 无法解析具有此类签名的引用结构域
我复制了的一个工作示例,并对其进行了一点更改,但核心始终相同,但在StructField点中总是出现以下错误: 无法解析具有此类签名的引用结构域 还给了我这个,在签名里面: 类型不匹配,应为:数据类型,实际StringType 以下是我的代码中出现问题的部分:Scala 无法解析具有此类签名的引用结构域,scala,apache-spark,import,signature,bigdata,Scala,Apache Spark,Import,Signature,Bigdata,我复制了的一个工作示例,并对其进行了一点更改,但核心始终相同,但在StructField点中总是出现以下错误: 无法解析具有此类签名的引用结构域 还给了我这个,在签名里面: 类型不匹配,应为:数据类型,实际StringType 以下是我的代码中出现问题的部分: import org.apache.avro.generic.GenericData.StringType import org.apache.spark import org.apache.spark.sql.types.StructF
import org.apache.avro.generic.GenericData.StringType
import org.apache.spark
import org.apache.spark.sql.types.StructField
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.types._
object Test{
def main(args: Array[String]): Unit = {
val file = "/home/ubuntu/spark/MyFile"
val conf = new SparkConf().setAppName("Test")
val sc = new SparkContext(conf)
val read = sc.textFile(file)
val header = read.first().toString
//generate schema from first csv row
val fields = header.split(";").map(fieldName => StructField(fieldName.trim, StringType, true))
val schema = StructType(fields)
}
}
我不明白我错在哪里。
我使用的是Spark 2.0.0版
谢谢它看起来像是
通用数据。StringType
是个问题。使用别名:
import org.apache.avro.generic.GenericData.{StringType => AvroStringType}
或者删除此导入(您不使用它)