Amazon web services 使用主键从dynamo DB表中获取大量数据

我对dynamo DB非常陌生，我需要从dynamo DB表中获取大约1.2亿行。获取的条件基于PK（基本上我需要获取与CAR*********主键模式相关的所有行）。我能想出的唯一办法是执行get操作，但它需要花费很多时间。我还寻找了批量获取的选项，但它也有100行或16mb数据的限制

---

那么，有人能提出一种更好更快的方法来提取这些数据吗？

首先，DynamoDB经过优化，可以通过主键存储和检索单个数据对象。如果需要定期检索或更新数以百万计的行，则应查看其他数据存储

如果这是一项一次性任务，那么我建议启动一个红移数据库，并使用该命令从Dynamo检索数据。然后，可以使用单个SQL语句下载该数据

如果您不想这样做，或者希望多次检索数据，则需要使用API。每次呼叫最多返回1MB，因此您需要

---

无论如何，您几乎肯定需要处理此任务。

是否要求在单次读取操作中获取所有1.2亿条记录？您是否可以共享实际查询？这里可能存在XY问题。你能解释一下为什么你需要拿到1.2亿件物品吗？你想从根本上解决什么问题？@jarmod我需要从这些获取的行中获取一些特定的JSON字段。实际上，我们将这些数据加载到数据仓库（snowflake），延迟了4-5个月。因此，这些必需的JSON字段在此期间无法从snowflake获得。因此，我正在使用dynamo表直接查询这些键并从中提取所需的JSON属性。@SethGeoghegan我使用了普通的get查询：``access\u key=“CAR\u”+str（CAR\u id）response=table.get\u项（key={“entityId”：access\u key}）“我正在循环使用所有可能的键组合，并使用上面提到的代码制作一个get on dynamo表。