Fatal编程技术网
  • scrapy/
  • Scrapy 两个连续的产量，只有第一个工作

Scrapy 两个连续的产量，只有第一个工作

scrapy

Scrapy 两个连续的产量，只有第一个工作,scrapy,scrapy-spider,Scrapy,Scrapy Spider,我有一段代码，只执行第一个yield的回调，而不执行下一个。我尝试过对它们进行重新排序，结果相同： 只执行第一个yield回调 for j in range(totalOrderPages): # the code gets in the loop productURI = feedUrl % (productId, j + 1) print "Got in the loop" # this gets printed yield res

我有一段代码，只执行第一个yield的回调，而不执行下一个。我尝试过对它们进行重新排序，结果相同： 只执行第一个yield回调

    for j in range(totalOrderPages):  # the code gets in the loop
        productURI = feedUrl % (productId, j + 1)
        print "Got in the loop" # this gets printed 
        yield response.follow(productURI, self.parse_orders, meta={'pid': productId, 'categories': categories})
    yield response.follow(first_page, self.parse_product, meta={'pid': productId, 'categories': categories})
Python或scrapy中是否有任何东西可以阻止连续两次的产量

第二个问题： 我试图使用pdb.set_trace（）调试这个函数，但是当我试图从调试控制台执行yield时，它会给出
yield-outside函数
错误

有人知道我们如何调试产量吗

多谢各位

在不知道更多细节的情况下，比如特定站点的重定向行为或变量的内容（
feedUrl
，
productURI
，
first\u page
，等等），我会说一些请求正在被Dupefilter（）丢弃。 我建议您启用
DEBUG
日志记录级别和设置，并检查日志以确定是否存在这种情况。 调用
response时，您可以通过添加
dont\u filter=True
来强制请求绕过Dupefilter。遵循

如果这不能解决您的问题，请共享您的爬网日志，以便我们能够获得更多信息来调试问题。刮得开心