Amazon s3 使用存储在s3中的拼花文件在Greenplum中创建外部桌子

我试图在AmazonEC2集群上的Greenplum数据库中创建一个外部表。我的源文件是parquet，存储在s3中。 我的问题是:

我应该使用什么协议来读取拼花地板文件中的数据

如果我使用文件格式为“拼花地板”的“s3://”，如下所示：

CREATE EXTERNAL TABLE rp2 (id text, fname text, lname text, mname text) LOCATION ('s3://location.parquet config=./s3/s3.config')

我得到以下错误：

ERROR:  unexpected end of file  (seg0 slice1 IP:port pid=xxx)

ERROR:  external table gphdfs protocol command ended with error. Exception in thread "main" java.lang.IllegalArgumentException: Illegal input uri: gphdfs://locs.parquet config=./s3/s3.config  (seg0 slice1 IP:Port pid=pid)

如果我选择gphdfs://协议作为：

CREATE EXTERNAL TABLE rp2 (id text, fname text, lname text, mname text) LOCATION ('gphdfs:location.parquet config=./s3/s3.config') FORMAT 'PARQUET';

我得到以下错误：

ERROR:  unexpected end of file  (seg0 slice1 IP:port pid=xxx)

ERROR:  external table gphdfs protocol command ended with error. Exception in thread "main" java.lang.IllegalArgumentException: Illegal input uri: gphdfs://locs.parquet config=./s3/s3.config  (seg0 slice1 IP:Port pid=pid)

---

我们将非常感谢您在这方面提供的任何帮助

您可以使用

例如：

CREATE EXTERNAL TABLE pxf_ext_tbl(name text, orders int)
  LOCATION ('pxf://S3_BUCKET/dir/file.parquet?PROFILE=s3:parquet&SERVER=s3srvcfg)
 FORMAT 'CUSTOM' (FORMATTER='pxfwritable_import');

---

我们也在研究…我考虑使用PXF，比如<代码>pxf://S3_BUCKET/pxf_examples/my_file?PROFILE=s3:parquet&SERVER=s3srvcfg从这里开始。因为s3协议不支持拼花格式