Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 为什么Spark Sql排除Inet数据类型?_Apache Spark_Apache Spark Sql_Spark Dataframe - Fatal编程技术网

Apache spark 为什么Spark Sql排除Inet数据类型?

Apache spark 为什么Spark Sql排除Inet数据类型?,apache-spark,apache-spark-sql,spark-dataframe,Apache Spark,Apache Spark Sql,Spark Dataframe,我有一个postgres数据库(9.2),它在模式中使用inet类型。我正试图用Spark(1.6)给博士后写信 我正在将模式应用于df,并使用 context.createDataFrame(rdd, schema()) 以及获取中描述的由于模式不匹配而导致的所有BatchUpdateException错误。架构是需要Spark Sql数据类型的StructFields的StructType。有没有一种方法可以使用任何现有的Spark Sql数据类型来实现这一点 为什么Spark Sql排除

我有一个postgres数据库(9.2),它在模式中使用
inet
类型。我正试图用Spark(1.6)给博士后写信

我正在将模式应用于df,并使用

context.createDataFrame(rdd, schema())
以及获取中描述的由于模式不匹配而导致的所有BatchUpdateException错误。架构是需要Spark Sql数据类型的StructFields的StructType。有没有一种方法可以使用任何现有的Spark Sql数据类型来实现这一点

为什么Spark Sql排除Inet数据类型

实际上,Spark不能支持不同JDBC源(不仅仅是RDBMS)使用的所有自定义类型

如何使用任何现有的Spark Sql数据类型实现此功能

您可以使用query强制转换为Spark(未测试)可使用的类型:

context.createDataFrame(rdd, schema())
spark.read.jdbc(url, "(SELECT CAST(inet_col AS TEXT) FROM table) AS t")