Fatal编程技术网
  • python/
  • Python 爬行爬行器在爬行时获取源链接

Python 爬行爬行器在爬行时获取源链接

python scrapy

Python 爬行爬行器在爬行时获取源链接,python,scrapy,Python,Scrapy,使用scrapy的爬行爬行器，是否有一种规范的方法来获取页面的url，而规则遵循该url。例如，当我在回调方法中解析页面B时，如果我有一个从页面a到页面B的链接，有没有办法知道页面a的url？我更感兴趣的是一个内置功能，而不是扩展CrawlSPider类。在回调中，您可以在响应的请求头中使用“Referer”头 def mycallback(self, response): print "Referer:", response.request.headers.get("R

使用scrapy的
爬行爬行器
，是否有一种规范的方法来获取页面的url，而规则遵循该url。例如，当我在回调方法中解析页面B时，如果我有一个从页面a到页面B的链接，有没有办法知道页面a的url？我更感兴趣的是一个内置功能，而不是扩展
CrawlSPider
类。

在回调中，您可以在响应的请求头中使用“Referer”头

    def mycallback(self, response):
        print "Referer:", response.request.headers.get("Referer")
        ...
它应该适用于所有蜘蛛