Google app engine App Engine Bulkloader我如何禁用“;“因错误而退却”;
我必须用appengine bulkloader上传大量实体(800k)。一切都安排好了,一切都进行得很顺利,但我发现一个神秘的错误导致了这种情况的发生:Google app engine App Engine Bulkloader我如何禁用“;“因错误而退却”;,google-app-engine,Google App Engine,我必须用appengine bulkloader上传大量实体(800k)。一切都安排好了,一切都进行得很顺利,但我发现一个神秘的错误导致了这种情况的发生: [WorkerThread-0] Backing off due to errors: 1.0 seconds [WorkerThread-0] Backing off due to errors: 2.0 seconds [WorkerThread-0] Backing off due to errors: 4.0 seconds [Wor
[WorkerThread-0] Backing off due to errors: 1.0 seconds
[WorkerThread-0] Backing off due to errors: 2.0 seconds
[WorkerThread-0] Backing off due to errors: 4.0 seconds
[WorkerThread-0] Backing off due to errors: 8.0 seconds
这很好,直到我让它整天运行:
[WorkerThread-0] Backing off due to errors: 2048.0 seconds
[WorkerThread-0] Backing off due to errors: 4096.0 seconds
如何禁用此功能?这让我的上传费了很长时间。确切地说,这每一千个实体就会发生一次,所以我可以等待2^sum(1到800)
秒。这显然不理想
我不知道错误是什么,只知道它说我有“错误”,但如果我每小时停止并恢复一次,事情似乎就可以上传了。我修改了
google\u appengine/google/appengine/tools/adaptive\u thread\u pool.py
以忽略self.\u backing\u
变量。具体来说,我在第426行将其重置为1.0
谷歌的设计多么荒谬…你是否可以将你的任务分成更小的块,比如50-100个实体,每个块使用一个新的加载程序来上传?在SDK v1.7.0
self中。
不存在后退。我将同一文件中的BACKOFF\u FACTOR
从2.0
更改为1.0
,得到了预期的结果。是的,我在1.7发布前一周问了这个问题。