Amazon dynamodb 从DynamoDB迁移到扳手/BigTable

我有一个用例，需要将70 TB的数据从DynamoDB迁移到BigTable和Spaner。具有单个索引的表将转到BigTable，否则它们将转到扳手

通过将数据导出到S3-->GCS-->Panner/BigTable，我可以轻松处理历史负载。但最具挑战性的部分是处理DynamoDB上同时发生的增量流负载。DynamoDB有300张桌子

---

如何以最好的方式处理这件事？以前有人这样做过吗？

一种方法是使用lambdas捕获dynamodb更改，将更改发布到GCP pub/sub，然后使用数据流管道处理传入的pub/sub消息，根据表将其写入span或BigTable

基本DynamoDB->扳手解决方案记录如下：

这可以用于处理不同表的不同目的地