Amazon web services 如何处理aws lambda中包含100万个对象的列表？

我在DynamoDB有一张100万行的桌子

我需要在一百万行上运行一个进程

这张桌子看起来是这样的：

Date,   Type,  Quantity, value
Jan23,    M,   10,       0.4
Jan24,    F,    5,       0.6
Jan26,    M,    6,       0.8

过程如下：

• 取F和M的所有记录，并按日期将它们分别排序到两个列表中

清单1：

Jan23, M , 10, 0.4
jan26, M, 6, 0.8

清单2：

Jan24, F, 5,0.6

• 现在，对于列表2中的每一行，我需要找到列表1中的第一个可用行并对其进行处理

---

因此（10*0.4-0.6*5）=1您正在使用错误的数据库解决问题。Dynamo不用于分析或统计问题解决

至少到目前为止，DymanoDB还不打算用于获取大量数据

解决方案

DynamoDB—流—Lambda—RDS

使用RDS完成所有复杂的查询

如果数据将变得巨大，您也可以引入红移

DynamoDB——溪流——λ——消防水带——红移

使用红移工具并将结果更新到DymanoDB以进行事务性使用

---

希望有帮助。

您正在使用错误的数据库解决问题。Dynamo不用于分析或统计问题解决

至少到目前为止，DymanoDB还不打算用于获取大量数据

解决方案

DynamoDB—流—Lambda—RDS

使用RDS完成所有复杂的查询

如果数据将变得巨大，您也可以引入红移

DynamoDB——溪流——λ——消防水带——红移

使用红移工具并将结果更新到DymanoDB以进行事务性使用

---

希望有帮助。

类型加日期的组合是唯一的，还是同一日期有多条M记录？日期范围是多少？是的，同一天有多条M记录。日期范围从2010年到现在@jarmodPlease发布代码以显示解决此问题的尝试。类型加日期的组合是否唯一，或者，例如，同一日期是否有多条M记录？日期范围是多少？是的，同一天有多条M记录。日期范围从2010年到现在@jarmodPlease发布代码，展示解决此问题的尝试。我是否可以将信息存储在s3和dynamo中，然后使用s3代替rds。它作为csv文件存储在哪里？您的数据是关系型的。你会想使用关系数据库，比如RDS。我可以把信息存储在s3和dynamo中，然后用s3代替RDS吗。它作为csv文件存储在哪里？您的数据是关系型的。您需要使用关系数据库，如RDS。