Amazon web services 使用Lambda函数将DynamoDB表作为JSON导出到S3

我试图将DynamoDB表作为JSON格式导出到S3，并从中导入到BigQuery。重要的部分是将DynamoDB表作为JSON格式导出到S3，因为我正在处理的表不是一个小表。此表包含560万条记录，每天插入约15000条新记录（在安静的一天）。我看到一篇博客文章，其中建议使用Lambda（ref:）函数，但table.scan（）函数不能很好地处理大型表

---

那个么，我如何才能将JSON格式的DynamoDB表导出到S3，并从S3高效地导入到BigQuery？我看到了一些选项，如HEVO、Glue等，但我不知道哪种方法最有效。

你可以用AWS lambda来实现这一点，lambda由DynamoDB流触发，然后这个lambda将写入云日志记录，从云日志记录中，你必须创建一个接收器并进行大查询，因为目标

DynamoDB有一个新功能“导出到S3”提供了一个很好的解决方案，但在这种情况下，我必须启用时间点恢复（PITR）对于Amazon DynamoDB。我不确定它是否值得，解决方案是否有效。我个人会启用PITR。相关：和.@M.EceErcan请通过以下链接。这将有助于导出新数据，但不会导出现有数据。然后您可以利用DynamoDB导出到s3，然后使用athena查询数据，查询结果可以放在n一个新的bucket->AWS Lambda->Cloud Logging->Sink to BQ Right，我只是指出您的答案解决了变更数据捕获，而不是原始数据。