Encryption 使用客户端加密将DynamoDB表导出到S3

我正在尝试使用数据管道将数据从Dynamo导出到s3。但是，在将文件写入s3之前，我不知道如何应用客户端加密。有没有一种方法可以通过数据管道做到这一点？我能够设置除客户端数据管道加密之外的所有内容。理想的流是dynamo源节点、要加密的活动和S3目标节点

我还尝试了弹性MapReduce，但我不知道如何编写映射器和缩减器，因为我没有转换任何数据-我只需要将其移动到s3上的加密文件中。我应该能够在hive程序中使用EMR，但我很难理解如何在不编写自定义map/reduce代码的情况下使用EMR。理想情况下，S3中不存储任何代码

服务器端加密不是一个选项，数据在写入s3之前需要加密

---

我正在寻找一些关于如何做到这一点的想法，或者有类似挑战的人。

当前的数据管道解决方案目前不支持用于自定义预处理或后处理的挂钩

你的桌子有多大？出口过程可接受多长时间完成

使用DynamoDB并行扫描应该可以做到这一点：

基本上，您将编写一个程序，使用多个线程处理并行扫描的扫描段，执行加密，并将加密项存储在S3中。每个DynamoDB扫描页面都应该返回~1MB的数据，因此您可以在发布到S3之前聚合多个页面

---

要恢复数据，您需要加载S3文件，解密，然后写回DynamoDB。

当前的数据管道解决方案目前不支持用于自定义预处理或后处理的挂钩

你的桌子有多大？出口过程可接受多长时间完成

使用DynamoDB并行扫描应该可以做到这一点：

基本上，您将编写一个程序，使用多个线程处理并行扫描的扫描段，执行加密，并将加密项存储在S3中。每个DynamoDB扫描页面都应该返回~1MB的数据，因此您可以在发布到S3之前聚合多个页面

---

要恢复数据，您需要加载S3文件，解密，然后写回DynamoDB。

当前的数据管道解决方案目前不支持用于自定义预处理或后处理的挂钩

你的桌子有多大？出口过程可接受多长时间完成

使用DynamoDB并行扫描应该可以做到这一点：

基本上，您将编写一个程序，使用多个线程处理并行扫描的扫描段，执行加密，并将加密项存储在S3中。每个DynamoDB扫描页面都应该返回~1MB的数据，因此您可以在发布到S3之前聚合多个页面

---

要恢复数据，您需要加载S3文件，解密，然后写回DynamoDB。

当前的数据管道解决方案目前不支持用于自定义预处理或后处理的挂钩

你的桌子有多大？出口过程可接受多长时间完成

使用DynamoDB并行扫描应该可以做到这一点：

基本上，您将编写一个程序，使用多个线程处理并行扫描的扫描段，执行加密，并将加密项存储在S3中。每个DynamoDB扫描页面都应该返回~1MB的数据，因此您可以在发布到S3之前聚合多个页面

---

要恢复数据，您需要加载S3文件，解密，然后写回DynamoDB。

如果这对于您的用例是可以接受的，您可以在DynamoDB中写入数据之前进行客户端加密。然后可以使用数据管道将加密数据导出到S3

---

我的应用程序使用aws实验室提供的。我们每天导出表以保存备份。只要将加密元数据与数据一起导出，恢复数据就可以工作。

如果您的用例可以接受这一点，您可以在将数据写入DynamoDB之前进行客户端加密。然后可以使用数据管道将加密数据导出到S3

---

我的应用程序使用aws实验室提供的。我们每天导出表以保存备份。只要将加密元数据与数据一起导出，恢复数据就可以工作。

如果您的用例可以接受这一点，您可以在将数据写入DynamoDB之前进行客户端加密。然后可以使用数据管道将加密数据导出到S3

---

我的应用程序使用aws实验室提供的。我们每天导出表以保存备份。只要将加密元数据与数据一起导出，恢复数据就可以工作。

如果您的用例可以接受这一点，您可以在将数据写入DynamoDB之前进行客户端加密。然后可以使用数据管道将加密数据导出到S3

我的应用程序使用aws实验室提供的。我们每天导出表以保存备份。只要将加密元数据与数据一起导出，恢复数据就可以工作