Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/cocoa/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 从发电机到红移_Amazon Web Services_Amazon Dynamodb_Amazon Redshift - Fatal编程技术网

Amazon web services 从发电机到红移

Amazon web services 从发电机到红移,amazon-web-services,amazon-dynamodb,amazon-redshift,Amazon Web Services,Amazon Dynamodb,Amazon Redshift,我是在将数据从DynamoDb加载到Redshift中时问这个问题的。根据: 为了避免消耗过多的已配置读取吞吐量,我们建议您不要从生产环境中的Amazon DynamoDB表加载数据 我的数据正在生产中,那么我如何才能从中获取数据呢 或者,DynamoDB流是将数据从DynamoDB移动到红移的更好的总体选择吗?(我知道这不会增加我的RCU成本。)使用AWS数据管道,您可以将数据从DynamoDB批量复制到新的或现有的红移表 此警告是因为导出可能会在一段时间内消耗大量的读取容量,这将影响您的生产

我是在将数据从DynamoDb加载到Redshift中时问这个问题的。根据:

为了避免消耗过多的已配置读取吞吐量,我们建议您不要从生产环境中的Amazon DynamoDB表加载数据

我的数据正在生产中,那么我如何才能从中获取数据呢


或者,DynamoDB流是将数据从DynamoDB移动到红移的更好的总体选择吗?(我知道这不会增加我的RCU成本。)

使用AWS数据管道,您可以将数据从DynamoDB批量复制到新的或现有的红移表

此警告是因为导出可能会在一段时间内消耗大量的读取容量,这将影响您的生产环境

一些选择:

  • 在晚上不需要那么多容量的时候做
  • READRATIO
    设置为一个较低的值,使其消耗更少的容量
  • 在执行导出时临时增加表的读取容量单位(您可以一天四次)

DynamoDB Streams提供表示对DynamoDB表的更改的数据流。您需要使用AWS Lambda处理这些流,以便将数据发送到某个地方,以便加载到红移中。例如,您可以填充另一个DynamoDB表并使用它导入到Redshift中。或者,您可以将数据写入AmazonS3并从中导入到Redshift。然而,这涉及到很多活动部件。

批量复制我假设使用RCUsOk,所以这里的EMR解决方案保证了复制时的HA