如何在python scrapy中获取请求头

如何在python scrapy中获取动态表数据的请求头

该请求是在单击按钮时发出的

---

有没有一种方法可以不使用“单击模拟”获取数据？

您可以使用“浏览器网络”选项卡从网站提取请求。观察“网络”选项卡，检查单击按钮时发出的请求

之后，您可以使用

request

类在scrapy中向API发出相同的请求

大概是这样的：

yield scrapy.Request("http://www.example.com/some_page.html",
                     headers={'header', 'value'},
                     callback=self.parse_table
                    )

---

有关请求的更多信息

您可以使用浏览器网络选项卡从网站提取请求。观察“网络”选项卡，检查单击按钮时发出的请求

之后，您可以使用

request

类在scrapy中向API发出相同的请求

大概是这样的：

yield scrapy.Request("http://www.example.com/some_page.html",
                     headers={'header', 'value'},
                     callback=self.parse_table
                    )

---

关于

请求的更多信息

我通过

网络选项卡

检查了它，但是它有一个不同的url，页面url没有改变。当发出ajax请求时，页面url没有改变，您需要做的是使用我上面提到的方法将请求发送到网络选项卡中显示的url。通过这种方式，您将在spider中获得相同的数据。我通过

网络选项卡检查了它，但它具有不同的url，并且页面url不会更改。在发出ajax请求时，页面url不会更改，您需要做的是使用上面提到的方法将请求发送到scrapy中网络选项卡中显示的url。这样，您将在spider中获得相同的数据。