Python Scrapy 404错误信息：忽略响应<；404http://www.mega.pk/laptop-hp>: 未处理或不允许HTTP状态代码

我试图刮一个网站，但我不断得到404错误。这是我正在使用的代码： 我也在使用Scrapy版本1.6

    # -*- coding: utf-8 -*-
import scrapy


class PracticeSpider(scrapy.Spider):
    name = 'practice'
    allowed_domains = ['www.mega.pk']

    def start_requests(self):
        yield scrapy.Request(url="https://www.mega.pk/laptop-hp", callback=self.parse, headers={

            'User-Agent': "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36"

        })

    def parse(self, response):
        products = response.xpath(
            "//ul[contains(@class,'clearfix')]/li/div[@class='lap_thu_box']")
        for product in products:
            name = product.xpath(
                ".//ul[@class='detailer']/li[position()=1]/text()").get()

            yield{

                'name': name
            }

---

您输入的URL不正确。你忘了在你的URL中加一个斜杠。在你的浏览器中输入，它会给你一个404错误。添加斜杠并输入它应该有效。使用最新版本的Scrapy 2.1.0也是明智之举。

非常感谢！！是的，我正在考虑迁移，但是语法是否与1.6版太不同了？因为我在udemy上买了一门课程，它使用scrapy 1.6版进行教学，这是我使用它的唯一原因。