Amazon web services 我可以直接查询redhisft表,其中数据以拼花格式存储在s3中吗
我有一个以拼花格式存储在s3中的数据集。我想知道我是否可以使用copy命令将这些数据加载到redshift中。我已经读到我可以使用redhisft频谱,在这里我可以提到存储在hive中的模式,并在redhisft中读取它 对我有用的是,如果我可以从redhisft查询存储在s3中的这个拼花地板数据,或者如果我可以使用copy命令将它们直接加载到redshift中Amazon web services 我可以直接查询redhisft表,其中数据以拼花格式存储在s3中吗,amazon-web-services,amazon-s3,amazon-redshift,parquet,Amazon Web Services,Amazon S3,Amazon Redshift,Parquet,我有一个以拼花格式存储在s3中的数据集。我想知道我是否可以使用copy命令将这些数据加载到redshift中。我已经读到我可以使用redhisft频谱,在这里我可以提到存储在hive中的模式,并在redhisft中读取它 对我有用的是,如果我可以从redhisft查询存储在s3中的这个拼花地板数据,或者如果我可以使用copy命令将它们直接加载到redshift中 我可以选择旋转集群,并使用jdbc将拼花地板数据写入s3。但问题是,与copy命令相比,jdbc速度太慢。使用Redshift外部模式
我可以选择旋转集群,并使用jdbc将拼花地板数据写入s3。但问题是,与copy命令相比,jdbc速度太慢。使用Redshift外部模式和表,您可以将拼花地板数据从S3加载到Redshift
CREATE external table spectrum.LINEITEM_PART_PARQ (
L_ORDERKEY BIGINT,
L_PARTKEY BIGINT,
L_SUPPKEY BIGINT,
L_LINENUMBER INT,
L_QUANTITY DECIMAL(12,2),
L_EXTENDEDPRICE DECIMAL(12,2),
L_DISCOUNT DECIMAL(12,2),
L_TAX DECIMAL(12,2),
L_RETURNFLAG VARCHAR(128),
L_LINESTATUS VARCHAR(128),
L_COMMITDATE VARCHAR(128),
L_RECEIPTDATE VARCHAR(128),
L_SHIPINSTRUCT VARCHAR(128),
L_SHIPMODE VARCHAR(128),
L_COMMENT VARCHAR(128))
partitioned by (L_SHIPDATE VARCHAR(128))
stored as PARQUET
location 's3://<your-bucket>/<xyz>/lineitem_partition/
资料来源:
从外部表将数据插入红移表
插入表格
从外部_表中选择* 谢谢你的回答。如果我必须使用频谱,我必须单独支付aws,这是我不想要的。我试图了解是否有一种方法可以直接加载拼花地板数据,或者可以在不增加任何额外成本的情况下将其访问到redshift。