Python scrapy请求回调未被激发
我在这里完全迷路了。我正在实现一个scrapy项目,其中项目由不同页面上的值组成。这就是我所拥有的:Python scrapy请求回调未被激发,python,request,scrapy,Python,Request,Scrapy,我在这里完全迷路了。我正在实现一个scrapy项目,其中项目由不同页面上的值组成。这就是我所拥有的: self.logger.debug("Bilanz URL %s", item['bilanz_url']) return Request(url=item['bilanz_url'], callback=self.parse_estimations, errback=self.error_handler, dont_filter=True, meta =
self.logger.debug("Bilanz URL %s", item['bilanz_url'])
return Request(url=item['bilanz_url'],
callback=self.parse_estimations,
errback=self.error_handler,
dont_filter=True,
meta = {'item': dict(item)})
def parse_estimations(self, response):
self.logger.info("Function parse_estimations %s", response.url)
item = response.meta['item']
item['raw_estimations'] = response.xpath("//td[starts-with(text(), 'KGV')]/ancestor::table").extract_first()
yield item
现在的问题是函数parse_estimations
永远不会到达,errback处理程序也不会被调用。我也可以产生同样的效果。
我是不是漏掉了什么明显的东西
其他信息:这些扩展和中间件已启用:
[scrapy] INFO: Enabled extensions: CloseSpider, TelnetConsole, LogStats, CoreStats, SpiderState
[scrapy] INFO: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, MetaRefreshMiddleware, HttpCompressionMiddleware, RedirectMiddleware, CookiesMiddleware, ChunkedTransferMiddleware, DownloaderStats
你看到重复的请求过滤错误记录了吗?@alecxe:谢谢你查看。诚然,我确实看到了它们,但仅在第一个项目页面(此代码位于响应函数中的页面)中看到了它们。如果在返回/生成请求时设置dont\u filter=True
,会怎么样?@alecxe:没有,真的。我已经编辑了我的问题并包含函数parse\u estimations
-日志文本从未出现,预期的项目也没有出现。@alecxe:其他信息:当我直接对函数使用命令scrapy parse
时,请求被触发并到达相应的函数-对我来说非常奇怪。你看到重复的请求过滤错误记录了吗?@alecxe:谢谢你查看这个。诚然,我确实看到了它们,但仅在第一个项目页面(此代码位于响应函数中的页面)中看到了它们。如果在返回/生成请求时设置dont\u filter=True
,会怎么样?@alecxe:没有,真的。我已经编辑了我的问题,并包含了函数parse\u estimations
——日志文本从未出现,预期的项目也没有出现。@alecxe:其他信息:当我直接使用函数的scrapy parse
命令时,请求被触发,相应的函数被实现——对我来说非常奇怪。