Apache spark 为什么Spark Sql排除Inet数据类型?
我有一个postgres数据库(9.2),它在模式中使用Apache spark 为什么Spark Sql排除Inet数据类型?,apache-spark,apache-spark-sql,spark-dataframe,Apache Spark,Apache Spark Sql,Spark Dataframe,我有一个postgres数据库(9.2),它在模式中使用inet类型。我正试图用Spark(1.6)给博士后写信 我正在将模式应用于df,并使用 context.createDataFrame(rdd, schema()) 以及获取中描述的由于模式不匹配而导致的所有BatchUpdateException错误。架构是需要Spark Sql数据类型的StructFields的StructType。有没有一种方法可以使用任何现有的Spark Sql数据类型来实现这一点 为什么Spark Sql排除
inet
类型。我正试图用Spark(1.6)给博士后写信
我正在将模式应用于df,并使用
context.createDataFrame(rdd, schema())
以及获取中描述的由于模式不匹配而导致的所有BatchUpdateException错误。架构是需要Spark Sql数据类型的StructFields的StructType。有没有一种方法可以使用任何现有的Spark Sql数据类型来实现这一点
为什么Spark Sql排除Inet数据类型
实际上,Spark不能支持不同JDBC源(不仅仅是RDBMS)使用的所有自定义类型
如何使用任何现有的Spark Sql数据类型实现此功能
您可以使用query强制转换为Spark(未测试)可使用的类型:
context.createDataFrame(rdd, schema())
spark.read.jdbc(url, "(SELECT CAST(inet_col AS TEXT) FROM table) AS t")