Apache spark Spark表中的列约束_Apache Spark_Apache Spark Sql

Apache spark Spark表中的列约束

apache-spark

Apache spark Spark表中的列约束,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我正在使用ApacheSpark中的CSV文件创建一个表。是否可以创建具有非空约束或主键外键约束的表？无法在Spark表/数据帧上定义约束。虽然StructFields可以定义为nullbale，也可以不定义为nullbale，但在运行时不强制执行此属性。这样的约束在实践中没有用处有多种原因，但最基本的原因是Spark SQL不是数据库。一般来说，它对数据源没有任何控制权，只在读取时验证数据，因此唯一可能的方法是访问失败。可以添加一些上下文吗？你为什么需要这个？预期的行为是什么？

我正在使用ApacheSpark中的CSV文件创建一个表。是否可以创建具有非空约束或主键外键约束的表？

无法在Spark表/

数据帧上定义约束。虽然StructFields
可以定义为nullbale，也可以不定义为nullbale，但在运行时不强制执行此属性。这样的约束在实践中没有用处有多种原因，但最基本的原因是Spark SQL不是数据库。一般来说，它对数据源没有任何控制权，只在读取时验证数据，因此唯一可能的方法是访问失败。
可以添加一些上下文吗？你为什么需要这个？预期的行为是什么？