Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services AWS消防软管中间S3桶和输送流依赖性问题_Amazon Web Services_Amazon S3_Amazon Redshift_Amazon Kinesis_Amazon Kinesis Firehose - Fatal编程技术网

Amazon web services AWS消防软管中间S3桶和输送流依赖性问题

Amazon web services AWS消防软管中间S3桶和输送流依赖性问题,amazon-web-services,amazon-s3,amazon-redshift,amazon-kinesis,amazon-kinesis-firehose,Amazon Web Services,Amazon S3,Amazon Redshift,Amazon Kinesis,Amazon Kinesis Firehose,为多个交付流设置一个s3存储桶是一个好主意吗?(EX:考虑两个具有不同流传输量的传输流,S3缓冲区大小/缓冲间隔…) 如果两个传送流(S1、S2)正在将数据路由到红移。S1将数据传送到T1,S2传送到T2。在T2中,T1上有一个外键约束。是否可以保证当S2向T2发送数据(D2)时,D2引用的T1中的所有记录已经由S1发送?(即,交付流中存在依赖关系) 顺便说一句,我正在使用firehose将我的应用程序日志推到红移中进行分析 S3存储桶设计用于存储几乎无限的数据,所以您的问题的答案是肯定的 即使

为多个交付流设置一个s3存储桶是一个好主意吗?(EX:考虑两个具有不同流传输量的传输流,S3缓冲区大小/缓冲间隔…)

  • 如果两个传送流(S1、S2)正在将数据路由到红移。S1将数据传送到T1,S2传送到T2。在T2中,T1上有一个外键约束。是否可以保证当S2向T2发送数据(D2)时,D2引用的T1中的所有记录已经由S1发送?(即,交付流中存在依赖关系)

  • 顺便说一句,我正在使用firehose将我的应用程序日志推到红移中进行分析

  • S3存储桶设计用于存储几乎无限的数据,所以您的问题的答案是肯定的
  • 即使您可以定义外键,红移实际上并没有强制它们。根据文件
  • 唯一性、主键和外键约束是信息性的 只有亚马逊红移并没有强制执行。尽管如此,主要 键和外键用作计划提示,它们应该 声明应用程序中的ETL进程或其他进程 强化他们的诚信

    假设:T1和T2是同一红移簇中的表

    您可以(实际上)拥有任意数量的S3存储桶。对于两个传递流使用相同的S3存储桶不是一个好主意,因为由Redshift执行的将数据加载到集群中的复制命令将查看两个传递流的相同清单文件夹

    来自Amazon Kinesis Firehose常见问题解答:

    问:我的AmazonS3存储桶中的清单文件夹是什么

    对于AmazonRedshift目的地,AmazonKinesisFirehose生成清单文件,将AmazonS3对象批量加载到Redshift集群。清单文件夹存储Firehose生成的清单文件