Amazon redshift 带转换的Amazon红移拷贝

Redshift有一个复制操作，允许您将文件从S3复制到Redshift（）

S3中的.json文件是``脏的"; 它们还没有准备好直接复制到红移中，需要先进行转换。我的问题是,；我是否需要将新的清理过的JSON文件写回S3，然后从这些清理过的文件中执行复制，或者是否有一种方法作为复制过程的一部分通过此转换来运行JSON？

@tommy

复制操作只允许一些简单的转换，如日期时间格式更改、空占位符等

要广泛清理数据，您可能需要编写自己的程序并将结果转储回S3，然后才能将其复制到红移

如果您的数据很小，您可以使用AWS SDK（Java、PHP和Python版本）编写一个简单的程序来执行ETL并将其加载到红移中

在我们的例子中，数据是巨大的（每天约4亿行），因此，我们使用Amazon EMR、HIVE和SerDe（JSON）编解码器创建逻辑HIVE表，使用HQL应用转换，并将清理后的结果作为制表符分隔的文件转储回S3。然后，我们使用标准的COPY命令将结果加载到redshift中。我们还使用Amazon数据管道来协调和自动化此工作流

例如，蜂巢脚本

add jar s3://elasticmapreduce/samples/hive-ads/libs/jsonserde.jar; --SerDe codec

CREATE EXTERNAL TABLE  source_table_name (column_a string, column_b date)  row format 
    serde 'com.amazon.elasticmapreduce.JsonSerde'
    with serdeproperties ( 
      'paths'='column_a, column_b'
   ) LOCATION   's3a://your-bucket-name/source-directory-path/';

CREATE EXTERNAL TABLE  dest_table_name (column_a string, column_b date) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  LOCATION 's3n://your-bucket-name/dest-directory-path/';

INSERT INTO dest_table_name select * from source_table_name;

当然，上面显示的示例只是重新格式化数据。您可能需要根据您的用例添加额外的转换

希望这有帮助