Amazon dynamodb 为粘合作业配置DyanmoDB读取容量单元

Amazon dynamodb 为粘合作业配置DyanmoDB读取容量单元,amazon-dynamodb,aws-glue,Amazon Dynamodb,Aws Glue,我正在运行一个胶水作业,将数据从dynamoDB移动到redshift。表的当前配置的RCU为300,表的数据量约为50GB(预计将随时间增长)。我们正常消耗的RCU平均接近100。我们已将dynamo配置为自动缩放60%的已配置RCU消耗量。粘合作业配置为使用35%的RCU。我们无法承受对生产流量的任何影响 以上配置就绪后,我们的工作需要48小时以上才能完成。若我将dyanmo的RCU增加到1500,然后运行作业,它将在大约8小时内完成 我想安排它作为一个每周的工作,因此不能手动更新发电机的能

我正在运行一个胶水作业,将数据从dynamoDB移动到redshift。表的当前配置的RCU为300,表的数据量约为50GB(预计将随时间增长)。我们正常消耗的RCU平均接近100。我们已将dynamo配置为自动缩放60%的已配置RCU消耗量。粘合作业配置为使用35%的RCU。我们无法承受对生产流量的任何影响

以上配置就绪后,我们的工作需要48小时以上才能完成。若我将dyanmo的RCU增加到1500,然后运行作业,它将在大约8小时内完成

我想安排它作为一个每周的工作,因此不能手动更新发电机的能力,每次。在粘合作业运行前动态增加dynamo RCU,在作业完成后减少RCU的标准方法是什么?
任何其他处理这种情况的方法也将受到赞赏

这是一个很好的问题!我想知道更多关于这个问题的情况。你找到什么可以帮助回答你的问题了吗?@Akshansh singh:你可以创建一个自定义脚本,使用update_table api在胶水作业前后更新RCU。Python boto3 api可以在这里找到:这是一个很好的问题!我想知道更多关于这个问题的情况。你找到什么可以帮助回答你的问题了吗?@Akshansh singh:你可以创建一个自定义脚本,使用update_table api在胶水作业前后更新RCU。Python boto3 api可在以下位置找到: