mapreduce管道如何能运行超过10分钟?

mapreduce管道如何能运行超过10分钟?,mapreduce,appengine-pipeline,Mapreduce,Appengine Pipeline,MapReduce任务在父管道中运行,当然我们都知道它们可以运行很长时间。但与此同时,管道api文件规定管道必须在10分钟内完成。正确的理解方法是什么 谢谢。管道文档非常古老。。。在编写时,任务限制为10分钟。现在,您可以使用基本/手动缩放配置一个非默认模块,该模块过去被称为后端,允许任务运行24小时 注意:如果您在自动缩放模块上运行任务,它仍将限制为10分钟 但整个管道不必限制在24小时内。运行的第一个任务根管道可以产生许多子管道,每个子管道可以进一步产生其他管道。。。每个管道都是一个任务,

MapReduce任务在父管道中运行,当然我们都知道它们可以运行很长时间。但与此同时,管道api文件规定管道必须在10分钟内完成。正确的理解方法是什么


谢谢。

管道文档非常古老。。。在编写时,任务限制为10分钟。现在,您可以使用基本/手动缩放配置一个非默认模块,该模块过去被称为后端,允许任务运行24小时

注意:如果您在自动缩放模块上运行任务,它仍将限制为10分钟

但整个管道不必限制在24小时内。运行的第一个任务根管道可以产生许多子管道,每个子管道可以进一步产生其他管道。。。每个管道都是一个任务,必须在分配的10分钟或24小时内运行。。。完成后,它会向家长发出唤醒并完成的信号。。。因此,整个管道可以运行数天或数月或其他时间


我们的应用程序分为两个模块,一个用于前端默认,自动缩放以处理web请求,另一个用于后端基本缩放以运行所有任务

谢谢,但我认为这是另外一个模块。今天早些时候,我在以下网页的评论部分进行了讨论,为我澄清了这一点:基本上,这不是需要在任务期限10分钟内完成的管道。但是,需要在任务期限内完成的是run方法。Mapreduce可以通过切片和分片来实现这一点,根管道只需等待完成回调。是的,每个任务都必须在分配的时间内完成。。。管道是一组正在运行的任务,并在一个根上汇集在一起。当子进程运行时,根进程不会处于空闲状态,它会生成所有子进程并停止,然后当子进程全部完成时,根进程会唤醒并在几天后完成。我不知道为什么那个家伙在讨论中总是说10分钟,而这只是自动缩放模块,正如我指出的,基本/手动缩放模块可以持续24小时