Amazon web services 解决AWS Step函数映射并发限制问题

Amazon web services 解决AWS Step函数映射并发限制问题,amazon-web-services,aws-step-functions,Amazon Web Services,Aws Step Functions,我在AWS Step函数中有一个Map任务,它并行执行100-200个lambda,每个lambda运行几分钟,然后收集结果。然而,我遇到了节流,在一段时间内并不是所有的lambda都会启动。上面说你可能会遇到超过40件物品的节流,我相信这就是我遇到的 有没有人有过解决这个并发限制的经验?我可以有嵌套的映射,或者我可以将我的任务存储到几个并行运行的映射中吗?在映射状态中使用嵌套状态机,这样您可以有大约40个子状态机并行执行。然后在每个子状态机中使用一个映射状态并行处理约40个项。 这样,您可以并

我在AWS Step函数中有一个
Map
任务,它并行执行100-200个lambda,每个lambda运行几分钟,然后收集结果。然而,我遇到了节流,在一段时间内并不是所有的lambda都会启动。上面说你可能会遇到超过40件物品的节流,我相信这就是我遇到的


有没有人有过解决这个并发限制的经验?我可以有嵌套的映射,或者我可以将我的任务存储到几个并行运行的映射中吗?

在映射状态中使用嵌套状态机,这样您可以有大约40个子状态机并行执行。然后在每个子状态机中使用一个映射状态并行处理约40个项。 这样,您可以并行处理约1600个项目

但在此之前,您将达到AWS步骤功能配额:


在映射状态中使用嵌套状态机,这样您可以有大约40个子状态机并行执行。然后在每个子状态机中使用一个映射状态并行处理约40个项。 这样,您可以并行处理约1600个项目

但在此之前,您将达到AWS步骤功能配额:


最后,我在
并行
中创建了10个
Map
任务副本,并整理了任务信息以在这10个副本之间拆分任务,从而绕过了40项限制。这意味着在遇到节流问题之前,我现在可以运行约400个任务。我的状态机如下所示:


最后,我在
并行
中创建了10个
Map
任务副本,并整理了任务信息以在这10个副本之间拆分任务,从而绕过了40项限制。这意味着在遇到节流问题之前,我现在可以运行约400个任务。我的状态机如下所示:


谢谢,最后做了类似的事情,将作业对折并并行使用多个贴图。谢谢,最后做了类似的事情,将作业对折并并行使用多个贴图。