Amazon web services Kinesis消防软管将csv数据加载到红移

Amazon web services Kinesis消防软管将csv数据加载到红移,amazon-web-services,amazon-kinesis,amazon-kinesis-firehose,amazon-kinesis-kpl,amazon-kinesis-agent,Amazon Web Services,Amazon Kinesis,Amazon Kinesis Firehose,Amazon Kinesis Kpl,Amazon Kinesis Agent,我正在使用Kinesis firehose将数据处理为红移,并尝试Json和Csv格式 Json格式对我来说很好,数据正在加载到红移表中 用于JSON的复制命令: 从's3://foldername/'凭证'aws\u iam\u role=arn:aws:iam:::role/'清单json'auto'复制产品\u json 放置记录的CLI命令: aws firehose put记录——交付流名称csvtoredshiftstreamingjson——记录='Data=“{\'product

我正在使用Kinesis firehose将数据处理为红移,并尝试Json和Csv格式

Json格式对我来说很好,数据正在加载到红移表中

用于JSON的复制命令:

从's3://foldername/'凭证'aws\u iam\u role=arn:aws:iam:::role/'清单json'auto'复制产品\u json

放置记录的CLI命令:

aws firehose put记录——交付流名称csvtoredshiftstreamingjson——记录='Data=“{\'productid\”:1、\'productname\:\'phone\,\'productprice\:\'2.30\“}”

然而,当我使用CSV时,数据出现在S3中,但没有以红移方式加载

用于CSV的复制命令:

从's3://foldername/'CREDENTIALS'aws\u iam\u role=arn:aws:iam:::role/'MANIFESTcsv复制产品\u csv

放置CSV记录的CLI命令:

aws消防软管放置记录--传送流名称csvtoredshiftstream--记录='Data=“1,电话,2.30”'

记录正在处理到S3,但未加载到红移。STL_LOAD_ERRORS表也没有任何记录

如果我遗漏了什么,请一定告诉我


谢谢。

我通过在redshift中解锁以下IP,为redshift提供消防软管访问权限,从而克服了这个问题

52.70.63.192/27美国东部(北弗吉尼亚州) 52.89.255.224/27美国西部(俄勒冈州) 52.19.239.192/27欧盟(爱尔兰)

firehose使用这些Ip地址与红移通信

谢谢和问候,
Srivignesh KN

你看到了吗?一切都有点乱,但开始恢复。谢谢你的评论,这是真的,但我报告的问题从上周开始就一直存在,我相信我遗漏了一些东西。