Scrapy 下载器中间件、请求和响应
我知道中间件会将请求传递给下载器，并将响应传递给爬行器，但是没有任何东西解释下载器中间件应该做什么，我在任何地方都找不到合适的解释Scrapy 下载器中间件、请求和响应,scrapy,Scrapy,我知道中间件会将请求传递给下载器，并将响应传递给爬行器，但是没有任何东西解释下载器中间件应该做什么，我在任何地方都找不到合适的解释 它的目的是什么？Downloader中间件用于修改请求和响应的方式有哪些？下载中间件是否用于处理异常、管理代理和用户代理字符串等？让我们以scrapy的文档中给出的示例为例 import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" start_urls
它的目的是什么？Downloader中间件用于修改请求和响应的方式有哪些？下载中间件是否用于处理异常、管理代理和用户代理字符串等？让我们以scrapy的文档中给出的示例为例
import scrapy
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'text': quote.css('span.text::text').extract_first(),
'author': quote.css('small.author::text').extract_first(),
'tags': quote.css('div.tags a.tag::text').extract(),
}
class UserAgentRotationMiddleware(object):
def process_request(self, request, spider):
agent = random.choice(USER_AGENT_LIST)
if agent:
request.headers.setdefault('User-Agent', agent)
DOWNLOADER_MIDDLEWARES = {
"yourproject.middlewares.UserAgentRotationMiddleware": 500
}
def process_request(self, request, spider):
# Choosing random user agent from a list
agent = random.choice(USER_AGENT_LIST)
if agent:
request.headers.setdefault('User-Agent', agent)
DOWNLOADER_MIDDLEWARES = {
"yourproject.middlewares.UserAgentRotationMiddleware": 500
}
import requests
response = requests.get('http://quotes.toscrape.com')
print response.status_code
print response.content
def parse(self, response):
response.xpath('....')
这个解析方法中的scrapy框架在这里提供的响应是HttpResponse的一个实例，HttpResponse是低级urllib响应对象的包装器。我已经知道了很多，因为它在文档中。也许是我的错，因为我问题的标题有些模糊。我在问题底部提出的问题是：
“下载器中间件的用途是什么？下载器中间件用于修改请求和响应的方式有哪些？下载器中间件用于处理异常、管理代理和用户代理字符串等？”