Python 使用Scrapy Spider发送请求头以避免403响应状态

Python 使用Scrapy Spider发送请求头以避免403响应状态,python,scrapy,Python,Scrapy,我向a提出了请求,但得到了403响应。如何使用scrapy spider发送请求头,以便获得200响应 此外,网站还会使用新请求更新cookie。当我们提出一个新的请求时,是否有可能用粘粘的蜘蛛来轮换饼干 # -*- coding': 'utf-8 -*- import scrapy class MainSpider(scrapy.Spider): name = 'main' allowed_domains = ['11880.com']

我向a提出了请求,但得到了
403
响应。如何使用scrapy spider发送请求头,以便获得
200
响应

此外,网站还会使用新请求更新cookie。当我们提出一个新的请求时,是否有可能用粘粘的蜘蛛来轮换饼干

# -*- coding': 'utf-8 -*-
import scrapy


    class MainSpider(scrapy.Spider):
        name = 'main'
        allowed_domains = ['11880.com']
        start_urls = ['https://www.11880.com/suche/makler/deutschland']
    
        def parse(self, response):
            print(response.body)
希望得到一些答案。

问候



这意味着没有访问权限,请检查标题参数是否通过。这是不正确的

,这意味着没有访问权限检查您的标题参数是否通过。覆盖
start\u requests()
方法并传递
headers
参数是不正确的

import scrapy

class MainSpider(scrapy.Spider):
    name = 'main'
    allowed_domains = ['11880.com']
    start_urls = ['https://www.11880.com/suche/makler/deutschland']
    headers = {
        'header1': 'value1',
        'header2': 'value2'
    }

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse, headers=self.headers)

    def parse(self, response):
        print(response.body)

覆盖
start\u requests()
方法并传递
headers
参数

import scrapy

class MainSpider(scrapy.Spider):
    name = 'main'
    allowed_domains = ['11880.com']
    start_urls = ['https://www.11880.com/suche/makler/deutschland']
    headers = {
        'header1': 'value1',
        'header2': 'value2'
    }

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url=url, callback=self.parse, headers=self.headers)

    def parse(self, response):
        print(response.body)

是的,所以我想知道我们如何将标题传递给scrapy Spider是的,您可以在此处传递标题read是的,所以我想知道我们如何将标题传递给scrapy Spider是的,您可以在此处传递标题read我收到了“yield scrapy.Request(url=url callback=self.parse,headers=self.headers)”的这些错误,意外的令牌“回调”和意外的令牌“标头”抱歉!我在
url=url
之后漏掉了一个逗号,刚刚更新了帖子。哦,对不起,我甚至没有注意到它:DIt仍在给我403回复。为了获得200条回复,我们还可以采取哪些其他方式?这是因为当我们向网站发出新请求时,请求头会发生变化,而我使用的是过期的旧请求头吗?我收到的错误包括“yield scrapy.request(url=url callback=self.parse,headers=self.headers)”、意外令牌“callback”和意外令牌“headers”对不起!我在
url=url
之后漏掉了一个逗号,刚刚更新了帖子。哦,对不起,我甚至没有注意到它:DIt仍在给我403回复。为了获得200条回复,我们还可以采取哪些其他方式?这是因为当我们向网站发出新请求时,请求头会发生变化,而我使用的是过期的旧请求头吗?