Amazon web services 清除AWS数据管道中DynamoDB表中的所有现有条目

Amazon web services 清除AWS数据管道中DynamoDB表中的所有现有条目,amazon-web-services,hive,amazon-dynamodb,amazon-data-pipeline,Amazon Web Services,Hive,Amazon Dynamodb,Amazon Data Pipeline,我的目标是每天拍摄RDS表的快照,并将其放在DynamoDB表中。该表应仅包含一天的数据 为此,设置一个数据管道来查询RDS表,并以CSV格式将结果发布到S3中 然后,HiveActivity通过为文件和现有DynamoDB表创建外部表,将此CSV导入DynamoDB表 这非常有效,但是前一天的旧条目仍然存在于DynamoDB表中。如果可能的话,我想在数据管道中这样做。我需要: 1) 找到清除DynamoDB表的方法,或者至少删除/重新创建它,或者 2) 包括快照日期的额外列,并找到清除所有旧条

我的目标是每天拍摄RDS表的快照,并将其放在DynamoDB表中。该表应仅包含一天的数据

为此,设置一个数据管道来查询RDS表,并以CSV格式将结果发布到S3中

然后,HiveActivity通过为文件和现有DynamoDB表创建外部表,将此CSV导入DynamoDB表

这非常有效,但是前一天的旧条目仍然存在于DynamoDB表中。如果可能的话,我想在数据管道中这样做。我需要:

1) 找到清除DynamoDB表的方法,或者至少删除/重新创建它,或者 2) 包括快照日期的额外列,并找到清除所有旧条目的方法


有什么办法吗?

您可以使用DynamoDb(TTL),它允许您设置过期时间,在过期时间之后,项目将自动从DynamoDb表中删除。TTL对于数据在特定时间段后失去相关性的情况非常有用,在您的情况下,它可以是第二天的开始时间