Python 如何在抓取网页时获取当前url?

Python 如何在抓取网页时获取当前url?,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我正在使用scrapy进行网页抓取,我想将数据存储到csv文件中。如何获取当前url,以便使用它命名csv文件?使用Python2.7.14和Scrapy1.5。scrapy是否提供任何此类功能?此 self.request.url 或者这个(如果需要查询字符串) 您可以通过“response.request.URL”获取get URL。在这里,我在scrapy shell中获取URL >>> fetch("http://www.bing.com/") 201

我正在使用scrapy进行网页抓取,我想将数据存储到csv文件中。如何获取当前url,以便使用它命名csv文件?使用Python2.7.14和Scrapy1.5。scrapy是否提供任何此类功能?

self.request.url
或者这个(如果需要查询字符串)


您可以通过“response.request.URL”获取get URL。在这里,我在scrapy shell中获取URL

    >>> fetch("http://www.bing.com/")
    2018-04-05 15:53:00 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.bing.com/> (referer: None)
    >>> response
    <200 http://www.bing.com/>
    >>> response.request.url
    'http://www.bing.com/'
    >>>
>>获取(“http://www.bing.com/")
2018-04-05 15:53:00[刮屑核心引擎]调试:爬网(200)(参考:无)
>>>回应
>>>response.request.url
'http://www.bing.com/'
>>>
    >>> fetch("http://www.bing.com/")
    2018-04-05 15:53:00 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.bing.com/> (referer: None)
    >>> response
    <200 http://www.bing.com/>
    >>> response.request.url
    'http://www.bing.com/'
    >>>