Google app engine MapReduce作业永远运行

Google app engine MapReduce作业永远运行,google-app-engine,google-cloud-storage,Google App Engine,Google Cloud Storage,我用的是迈克尔·马诺切里的例子(http://stackoverflow.com/a/10969900/1387380)使用Pipeline和Mapreduce API将数据从数据存储区传输到Google云存储,但我的工作永远在运行,永远也不会完成。在过去的7天里,我有一些作业在运行,我甚至无法从MapperPipeline控制台界面停止这些作业 如何手动或以编程方式停止它们?我认为这种行为是由于当前版本的App Engine MapReduce lib在处理云存储输出编写器错误方面存在缺陷所致

我用的是迈克尔·马诺切里的例子(http://stackoverflow.com/a/10969900/1387380)使用Pipeline和Mapreduce API将数据从数据存储区传输到Google云存储,但我的工作永远在运行,永远也不会完成。在过去的7天里,我有一些作业在运行,我甚至无法从MapperPipeline控制台界面停止这些作业


如何手动或以编程方式停止它们?

我认为这种行为是由于当前版本的App Engine MapReduce lib在处理云存储输出编写器错误方面存在缺陷所致。如果发生这种情况,正如我上面提到的,请查看GAE日志,查看涉及云存储的权限或API错误(或您当前使用的任何输出编写器)


在库的下一次迭代中应该会有改进,但当前如果出现类似问题,快速解决方法是清除任务队列,纠正导致错误的问题,然后再次启动管道。

我认为这种行为是由于当前版本的App Engine MapReduce lib在处理云存储输出编写器错误方面存在缺陷所致。如果发生这种情况,正如我上面提到的,请查看GAE日志,查看涉及云存储的权限或API错误(或您当前使用的任何输出编写器)


库的下一次迭代应该会有改进,但目前如果出现类似问题,快速解决方法是清除任务队列,纠正导致错误的问题,然后再次启动管道。

嗨Charles:首先,您可以通过清除任务队列(可能是“默认”)来删除那些延迟的作业队列)在管理控制台->任务队列->[默认]->清除)。至于长时间运行的作业问题,为了帮助我调试,您映射了多少个数据存储实体?您能否查看应用程序引擎错误日志,看看是否存在将结果写入云存储()的问题?嗨,Michael,我已经清除了任务队列,但作业仍显示为在MapReduce仪表板中运行。我们谈论的实体非常少(30个或更少),是的,我在写入云存储时遇到问题,我在创建GS文件时遇到了一个权限被拒绝的错误,我现在已经修复了这个错误,但我想这些作业仍在某处运行。我想知道如何永远杀死它们,因为它正在慢慢填满我的配额。谢谢您的帮助。好的-这种行为可能是由于您的应用程序的前一个仍在运行-这可能吗?我想是的,该应用程序仍在运行,直到我再次运行它时没有错误。以前的作业仍然标记为在MarReduce仪表板上运行,我无法进行任何清理,但根据我的配额详细信息和日志页面,没有开始执行任何进程,因此在结束时一切正常。嗨Charles:首先,您可以通过清除任务队列(可能是“默认”队列)来删除这些延迟的作业在管理控制台->任务队列->[默认]->清除)。至于长时间运行的作业问题,为了帮助我调试,您映射了多少个数据存储实体?您能否查看应用程序引擎错误日志,看看是否存在将结果写入云存储()的问题?嗨,Michael,我已经清除了任务队列,但作业仍显示为在MapReduce仪表板中运行。我们谈论的实体非常少(30个或更少),是的,我在写入云存储时遇到问题,我在创建GS文件时遇到了一个权限被拒绝的错误,我现在已经修复了这个错误,但我想这些作业仍在某处运行。我想知道如何永远杀死它们,因为它正在慢慢填满我的配额。谢谢您的帮助。好的-这种行为可能是由于您的应用程序的前一个仍在运行-这可能吗?我想是的,该应用程序仍在运行,直到我再次运行它时没有错误。以前的作业仍然在MarReduce仪表板上标记为正在运行,我不能做任何事情来清理它们,但根据我的配额详细信息和日志页面,没有开始执行任何进程,所以最后一切都很好。