Python 正在抓取我们当前所在网页的url
我想知道我们是否可以抓取我们当前所在网页的url 例如,如果我想从Python 正在抓取我们当前所在网页的url,python,web-scraping,scrapy,Python,Web Scraping,Scrapy,我想知道我们是否可以抓取我们当前所在网页的url 例如,如果我想从scrapy.org中提取数据,那么我可以定义规则来提取页面中提供的数据和链接。但是,我可以从该网页将urlscrapy.org本身作为url刮取吗?由于html文件中不会提到我们当前所在的url,有没有办法做到这一点 以下是我试图解决的问题: 我正试图从网页上抓取工作描述 我想知道我们是否也可以提取该页面的超链接。是 在解析代码中,您应该有一个response对象,并且response.url将是当前被刮取页面的url
scrapy.org
中提取数据,那么我可以定义规则来提取页面中提供的数据和链接。但是,我可以从该网页将urlscrapy.org
本身作为url
刮取吗?由于html文件中不会提到我们当前所在的url,有没有办法做到这一点
以下是我试图解决的问题:
我正试图从网页上抓取工作描述
我想知道我们是否也可以提取该页面的超链接。是
在解析代码中,您应该有一个response
对象,并且response.url
将是当前被刮取页面的url