Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/android/208.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon dynamodb 使用数据管线将DynamoDB表导出到S3_Amazon Dynamodb_Amazon Data Pipeline - Fatal编程技术网

Amazon dynamodb 使用数据管线将DynamoDB表导出到S3

Amazon dynamodb 使用数据管线将DynamoDB表导出到S3,amazon-dynamodb,amazon-data-pipeline,Amazon Dynamodb,Amazon Data Pipeline,我创建了一个管道,将数据从dynamodb表移动到S3存储桶中。我使用此模板导出数据- 管道工作正常,但我现在创建了另一条管道,将S3 csv数据移动到我的RDS服务器中,问题是这需要几个小时才能运行,我需要在不超过30分钟内完成 我决定我需要创建多个S3 csv文件,而不是一个大文件,这样我就可以为每个文件运行多个数据管道,将其移动到我的RDS服务器中 在导出数据之前,有没有办法查询dynamodb?我有一个列vention\u id,范围为1-50,因此我想为每个值创建一个新的S3文件 如果

我创建了一个管道,将数据从dynamodb表移动到S3存储桶中。我使用此模板导出数据-

管道工作正常,但我现在创建了另一条管道,将S3 csv数据移动到我的RDS服务器中,问题是这需要几个小时才能运行,我需要在不超过30分钟内完成

我决定我需要创建多个S3 csv文件,而不是一个大文件,这样我就可以为每个文件运行多个数据管道,将其移动到我的RDS服务器中

在导出数据之前,有没有办法查询dynamodb?我有一个列
vention\u id
,范围为1-50,因此我想为每个值创建一个新的S3文件

如果您无法查询dynamodb,是否可以通过设置最大文件大小或其他方式将数据拆分为多个文件