Python 使用Scrapy Spider发送请求头以避免403响应状态
我向a提出了请求,但得到了Python 使用Scrapy Spider发送请求头以避免403响应状态,python,scrapy,Python,Scrapy,我向a提出了请求,但得到了403响应。如何使用scrapy spider发送请求头,以便获得200响应 此外,网站还会使用新请求更新cookie。当我们提出一个新的请求时,是否有可能用粘粘的蜘蛛来轮换饼干 # -*- coding': 'utf-8 -*- import scrapy class MainSpider(scrapy.Spider): name = 'main' allowed_domains = ['11880.com']
403
响应。如何使用scrapy spider发送请求头,以便获得200
响应
此外,网站还会使用新请求更新cookie。当我们提出一个新的请求时,是否有可能用粘粘的蜘蛛来轮换饼干
# -*- coding': 'utf-8 -*-
import scrapy
class MainSpider(scrapy.Spider):
name = 'main'
allowed_domains = ['11880.com']
start_urls = ['https://www.11880.com/suche/makler/deutschland']
def parse(self, response):
print(response.body)
希望得到一些答案。
问候
这意味着没有访问权限,请检查标题参数是否通过。这是不正确的,这意味着没有访问权限检查您的标题参数是否通过。覆盖
start\u requests()
方法并传递headers
参数是不正确的
import scrapy
class MainSpider(scrapy.Spider):
name = 'main'
allowed_domains = ['11880.com']
start_urls = ['https://www.11880.com/suche/makler/deutschland']
headers = {
'header1': 'value1',
'header2': 'value2'
}
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url=url, callback=self.parse, headers=self.headers)
def parse(self, response):
print(response.body)
覆盖
start\u requests()
方法并传递headers
参数
import scrapy
class MainSpider(scrapy.Spider):
name = 'main'
allowed_domains = ['11880.com']
start_urls = ['https://www.11880.com/suche/makler/deutschland']
headers = {
'header1': 'value1',
'header2': 'value2'
}
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url=url, callback=self.parse, headers=self.headers)
def parse(self, response):
print(response.body)
是的,所以我想知道我们如何将标题传递给scrapy Spider是的,您可以在此处传递标题read是的,所以我想知道我们如何将标题传递给scrapy Spider是的,您可以在此处传递标题read我收到了“yield scrapy.Request(url=url callback=self.parse,headers=self.headers)”的这些错误,意外的令牌“回调”和意外的令牌“标头”抱歉!我在
url=url
之后漏掉了一个逗号,刚刚更新了帖子。哦,对不起,我甚至没有注意到它:DIt仍在给我403回复。为了获得200条回复,我们还可以采取哪些其他方式?这是因为当我们向网站发出新请求时,请求头会发生变化,而我使用的是过期的旧请求头吗?我收到的错误包括“yield scrapy.request(url=url callback=self.parse,headers=self.headers)”、意外令牌“callback”和意外令牌“headers”对不起!我在url=url
之后漏掉了一个逗号,刚刚更新了帖子。哦,对不起,我甚至没有注意到它:DIt仍在给我403回复。为了获得200条回复,我们还可以采取哪些其他方式?这是因为当我们向网站发出新请求时,请求头会发生变化,而我使用的是过期的旧请求头吗?