Python 将referer中的响应对象引入parse_项回调 问题
我正试图抓取一个像YouTube这样的网站,它有一个包含大量视频的列表和一个指向单个视频的链接。我要做的是在使用parse_item()进入特定视频之前抓取视频的缩略图 问题是我不知道如何将“列表视图”的响应对象引入parse_item()函数。我知道您可以使用process_request截获请求并向请求对象插入一个meta,但我不知道如何获得列表视图响应 这个问题有不同的解决方法吗 我的代码:Python 将referer中的响应对象引入parse_项回调 问题,python,python-2.7,screen-scraping,scrapy,web-crawler,Python,Python 2.7,Screen Scraping,Scrapy,Web Crawler,我正试图抓取一个像YouTube这样的网站,它有一个包含大量视频的列表和一个指向单个视频的链接。我要做的是在使用parse_item()进入特定视频之前抓取视频的缩略图 问题是我不知道如何将“列表视图”的响应对象引入parse_item()函数。我知道您可以使用process_request截获请求并向请求对象插入一个meta,但我不知道如何获得列表视图响应 这个问题有不同的解决方法吗 我的代码: 我假设您想知道从中提取链接(请求)的URL 您可以重写该方法以传递请求的源页面: def
我假设您想知道从中提取链接(请求)的URL 您可以重写该方法以传递请求的源页面:
def _requests_to_follow(self, response):
for req in super(ExampleSpider, self)._requests_to_follow(response):
req.meta['parent_page'] = response.url
yield req
谢谢我实际上传递了整个响应,这样我就可以在上面使用选择器从引用者那里找到我需要的图像。
def _requests_to_follow(self, response):
for req in super(ExampleSpider, self)._requests_to_follow(response):
req.meta['parent_page'] = response.url
yield req