Scala 如何验证Spark数据帧的内容

我有低于Scala Spark的代码库，它工作得很好，但不应该

第二列包含混合类型的数据，而在模式中，我将其定义为

IntegerType

。我的实际程序有100多列，并在转换后继续派生多个子数据帧

如何验证

RDD

或

DataFrame

字段的内容是否具有正确的数据类型值，从而忽略无效行或将列的内容更改为某个默认值。对于使用

DataFrame

或

RDD

进行数据质量检查的更多指针，我们将不胜感激

var theSeq = Seq(("X01", "41"),
    ("X01", 41),
    ("X01", 41),
    ("X02", "ab"),
    ("X02", "%%"))

val newRdd = sc.parallelize(theSeq)
val rowRdd = newRdd.map(r => Row(r._1, r._2))

val theSchema = StructType(Seq(StructField("ID", StringType, true),
    StructField("Age", IntegerType, true)))
val theNewDF = sqc.createDataFrame(rowRdd, theSchema)
theNewDF.show()  

---

在版本1.4或更高版本中

import org.apache.spark.sql.execution.debug._
theNewDF.typeCheck

---

但它是通过SPARK-9754拆下的。我还没有检查，但我认为

typeCheck

变成了

sqlContext。事先调试
首先传递
schema
只是避免类型推断的一种方法。在数据帧创建过程中，不会验证或强制执行。顺便说一句，我不认为
ClassCastException
工作得很好。有那么一会儿我以为你真的发现了一只虫子

我认为重要的问题是，首先，如何获得像seq
/
newRdd
这样的数据。它是您自己解析的东西，是从外部组件接收的吗？只需查看类型（
Seq[（String，Any）]
/
RDD[（String，Any）]
），您就知道它不是
数据帧的有效输入。在这个级别处理事情的方法可能是采用静态类型。Scala提供了许多巧妙的方法来处理意外情况（
Try
，
或者
，
选项
），其中最后一种方法是最简单的方法，作为一个额外的优点，Spark SQL可以很好地工作。相当简单的处理方式可能是这样的

def validateInt(x: Any) = x match {
  case x: Int => Some(x)
  case _ => None
}

def validateString(x: Any) = x match { 
  case x: String => Some(x)
  case _ => None
}

val newRddOption: RDD[(Option[String], Option[Int])] = newRdd.map{
  case (id, age) => (validateString(id), validateInt(age))}

由于
选项
可以轻松组合，因此您可以添加以下附加检查：

def validateAge(age: Int) = {
  if(age >= 0 && age < 150) Some(age)
  else None
}

val newRddValidated: RDD[(Option[String], Option[Int])] = newRddOption.map{
  case (id, age) => (id, age.flatMap(validateAge))}

此时，您只需调用
toDF
：

import org.apache.spark.sql.DataFrame

val df: DataFrame = records.toDF
df.printSchema

// root
//  |-- id: string (nullable = true)
//  |-- age: integer (nullable = true)

这是一种艰难但可以说更优雅的方式。一个更快的方法是让SQL casting系统为您完成一项工作。首先，让我们将所有内容转换为
字符串
：

val stringRdd: RDD[(String, String)] = sc.parallelize(theSeq).map(
  p => (p._1.toString, p._2.toString))

接下来创建一个数据帧：

import org.apache.spark.sql.types._
import org.apache.spark.sql.Column
import org.apache.spark.sql.functions.col

val df: DataFrame = stringRdd.toDF("id", "age")

val expectedTypes = Seq(StringType, IntegerType)
val exprs: Seq[Column] = df.columns.zip(expectedTypes).map{
  case (c, t) => col(c).cast(t).alias(c)}

val dfProcessed: DataFrame = df.select(exprs: _*)

结果是：

dfProcessed.printSchema

// root
//  |-- id: string (nullable = true)
//  |-- age: integer (nullable = true)


dfProcessed.show

// +---+----+
// | id| age|
// +---+----+
// |X01|  41|
// |X01|  41|
// |X01|  41|
// |X02|null|
// |X02|null|
// +---+----+

我发布的代码只是为了证明我的问题……非常感谢您的回复……虽然第一个解决方案很优雅，但当它在一个文件中有125列时很难工作……而且该文件本质上是动态的……即使case类也无法工作……因此Row是唯一的解决方案。。。。铸造解决方案适合我的情况。。非常感谢你。这就是为什么我们有元编程。可以说有比Scala更自然的更好的语言，但这是完全可能的。
dfProcessed.printSchema

// root
//  |-- id: string (nullable = true)
//  |-- age: integer (nullable = true)


dfProcessed.show

// +---+----+
// | id| age|
// +---+----+
// |X01|  41|
// |X01|  41|
// |X01|  41|
// |X02|null|
// |X02|null|
// +---+----+