Amazon web services AWS Lambda函数跳过DynamoDB记录

Amazon web services AWS Lambda函数跳过DynamoDB记录,amazon-web-services,amazon-dynamodb,aws-lambda,amazon-dynamodb-streams,Amazon Web Services,Amazon Dynamodb,Aws Lambda,Amazon Dynamodb Streams,我正在使用在AWS Lambda中创建的函数来触发和处理插入到DynamoDB表中的每条记录但我最近注意到,许多记录丢失且未被处理。例如,每插入50000条记录,可能会处理大约2000-3000条记录:(我还注意到,在一段时间内,正在处理的数字每隔5分钟左右会缓慢增加大约100-200条记录。我使用aws命令行检查了这一点:aws dynamodb scan--表名myDynamoTable--选择“计数” 如果有帮助,我将使用默认设置创建Lambda函数。 这是Lambda函数的问题还是MYL


我正在使用在AWS Lambda中创建的函数来触发和处理插入到DynamoDB表中的每条记录

但我最近注意到,许多记录丢失且未被处理。例如,每插入50000条记录,可能会处理大约2000-3000条记录:(

我还注意到,在一段时间内,正在处理的数字每隔5分钟左右会缓慢增加大约100-200条记录。我使用aws命令行检查了这一点:
aws dynamodb scan--表名myDynamoTable--选择“计数”

如果有帮助,我将使用默认设置创建Lambda函数。


这是Lambda函数的问题还是MYLambda函数的配置问题?
是否有任何属性/设置可以更改以改进其功能?
最后,如果出现最坏情况,我可以使用什么作为替代方案(可靠的)对于Lambda函数?我可以自己构建一个吗?

TIA。

DynamoDB扫描只返回前1MB的数据。您需要使用
LastEvaluatedKey
值进行迭代。

这不是我的问题!那么也许您应该重新表述您的问题。您如何验证正在处理/未处理的记录ad您的问题是您是否使用dynamo streams来触发lambda函数?是的,我使用的是DynamoDB streams。我知道,从计数-插入的记录数与处理后可用的记录数相比,所有记录都没有被处理。您能否共享DynamoDB流配置?您确定所有项目都是新插入的吗?是吗您可以删除所有项目并插入100个项目,看看会发生什么?需要调试这是流还是lambda问题?您是否同时插入了所有5k项目?@onceptquest如何找到流配置?单击“管理流”按钮并启用它是我对DynamoDB流的唯一体验。:)当我按照您的建议删除和插入项目时,我将检查并查看它的行为。您的意思是同时插入5k项目还是快速连续插入5k项目?尝试按顺序插入并检查结果。大约100到500项就足够了。@Quest我尝试了500次插入、500次更新和500次删除表。lambda函数正在记录和处理所有操作。然后我尝试了10000次插入、10000次更新和10000次删除。正在处理所有的插入和删除操作,但许多更新丢失。有时我只得到3000个处理过的更新,而实际上有10000个更新完成了。当更新的记录数量很大时,lambda函数似乎不起作用。这是Lambda的一个可能限制还是我的配置和/或代码的错误?