Python 刮痕：爬行比预期提前完成
我的爬虫程序比预期提前终止，只能爬行到第五级。注意：我没有更改默认设置 然而，它确实说有一个重复的请求。这就是原因吗 以下是输出：Python 刮痕：爬行比预期提前完成,python,scrapy,Python,Scrapy,我的爬虫程序比预期提前终止，只能爬行到第五级。注意：我没有更改默认设置 然而，它确实说有一个重复的请求。这就是原因吗 以下是输出： 你能详细说明你想做什么/你的蜘蛛代码是什么吗？默认情况下，scrapy会尝试避免两次执行相同的任务：如果您生成的请求的参数与您已经生成的请求的参数完全相同，它将忽略该请求。感谢Robin的响应。经过数小时的调试，我意识到问题与默认规范化设置有关。一旦我关掉它，它工作得很好。 2014-01-16 14:06:34+0800 [Squarefoot] DEBUG: F
你能详细说明你想做什么/你的蜘蛛代码是什么吗？默认情况下，scrapy会尝试避免两次执行相同的任务：如果您生成的请求的参数与您已经生成的请求的参数完全相同，它将忽略该请求。感谢Robin的响应。经过数小时的调试，我意识到问题与默认规范化设置有关。一旦我关掉它，它工作得很好。
2014-01-16 14:06:34+0800 [Squarefoot] DEBUG: Filtered duplicate request: <GET http://www.abc.com/search/?districts%5B%5D=95&districts%5B%5D=97&from=121&from=91&perpage=30&size_max=700&size_min=500&sort=pa&type=rent> - no more duplicates will be shown (see DUPEFILTER_CLASS)
2014-01-16 14:06:34+0800 [Squarefoot] INFO: Closing spider (finished)