Scala 红移:表格信息查询无法通过spark工作

Scala 红移:表格信息查询无法通过spark工作,scala,apache-spark,amazon-redshift,databricks,Scala,Apache Spark,Amazon Redshift,Databricks,我正在尝试使用databricks从spark代码运行此查询: select * from svv_table_info 但是我得到了这个错误消息: 线程“main”java.sql.SQLException中出现异常:Amazon无效操作:红移表不支持指定的类型或函数(每个信息消息一个) 你对我为什么得到这个有什么看法吗 该视图返回Postgres系统类型中的表id psql=# \d+ svv_table_info Column | Type | Modi

我正在尝试使用databricks从spark代码运行此查询:

select * from svv_table_info
但是我得到了这个错误消息:

线程“main”java.sql.SQLException中出现异常:Amazon无效操作:红移表不支持指定的类型或函数(每个信息消息一个)


你对我为什么得到这个有什么看法吗

该视图返回Postgres系统类型中的
表id

psql=# \d+ svv_table_info
    Column     |     Type      | Modifiers | Storage  | Description
---------------+---------------+-----------+----------+-------------
 database      | text          |           | extended |
 schema        | text          |           | extended |
 table_id      | oid           |           | plain    |
 table         | text          |           | extended |
 encoded       | text          |           | extended |
 diststyle     | text          |           | extended |
 sortkey1      | text          |           | extended |
 max_varchar   | integer       |           | plain    |
 sortkey1_enc  | character(32) |           | extended |
 sortkey_num   | integer       |           | plain    |
 size          | bigint        |           | plain    |
 pct_used      | numeric(10,4) |           | main     |
 empty         | bigint        |           | plain    |
 unsorted      | numeric(5,2)  |           | main     |
 stats_off     | numeric(5,2)  |           | main     |
 tbl_rows      | numeric(38,0) |           | main     |
 skew_sortkey1 | numeric(19,2) |           | main     |
 skew_rows     | numeric(19,2) |           | main     |
您可以将其强制转换为整数,Spark应该能够处理它

SELECT database,schema,table_id::INT
      ,"table",encoded,diststyle,sortkey1
      ,max_varchar,sortkey1_enc,sortkey_num
      ,size,pct_used,empty,unsorted,stats_off
      ,tbl_rows,skew_sortkey1,skew_rows 
FROM svv_table_info;

我错过了
oid
类型。谢谢