Scala 红移:表格信息查询无法通过spark工作
我正在尝试使用databricks从spark代码运行此查询:Scala 红移:表格信息查询无法通过spark工作,scala,apache-spark,amazon-redshift,databricks,Scala,Apache Spark,Amazon Redshift,Databricks,我正在尝试使用databricks从spark代码运行此查询: select * from svv_table_info 但是我得到了这个错误消息: 线程“main”java.sql.SQLException中出现异常:Amazon无效操作:红移表不支持指定的类型或函数(每个信息消息一个) 你对我为什么得到这个有什么看法吗 该视图返回Postgres系统类型中的表id psql=# \d+ svv_table_info Column | Type | Modi
select * from svv_table_info
但是我得到了这个错误消息:
线程“main”java.sql.SQLException中出现异常:Amazon无效操作:红移表不支持指定的类型或函数(每个信息消息一个)
你对我为什么得到这个有什么看法吗 该视图返回Postgres系统类型中的
表id
psql=# \d+ svv_table_info
Column | Type | Modifiers | Storage | Description
---------------+---------------+-----------+----------+-------------
database | text | | extended |
schema | text | | extended |
table_id | oid | | plain |
table | text | | extended |
encoded | text | | extended |
diststyle | text | | extended |
sortkey1 | text | | extended |
max_varchar | integer | | plain |
sortkey1_enc | character(32) | | extended |
sortkey_num | integer | | plain |
size | bigint | | plain |
pct_used | numeric(10,4) | | main |
empty | bigint | | plain |
unsorted | numeric(5,2) | | main |
stats_off | numeric(5,2) | | main |
tbl_rows | numeric(38,0) | | main |
skew_sortkey1 | numeric(19,2) | | main |
skew_rows | numeric(19,2) | | main |
您可以将其强制转换为整数,Spark应该能够处理它
SELECT database,schema,table_id::INT
,"table",encoded,diststyle,sortkey1
,max_varchar,sortkey1_enc,sortkey_num
,size,pct_used,empty,unsorted,stats_off
,tbl_rows,skew_sortkey1,skew_rows
FROM svv_table_info;
我错过了
oid
类型。谢谢