Web scraping 观察http请求并在代码中模拟相同的请求

是否有办法在浏览器中观察http请求并保存该请求（标题数据和参数）并在代码中模拟相同的请求

我想要的是在我的项目中“模拟”浏览器，以获得与用户使用普通浏览器相同的响应

---

我不知道如何正确提问，但我想要的是在一些网站上模拟身份验证，并获取与我在浏览器中时相同的数据。

我想要的是使用简单的http请求爬网一个有身份验证保护的网站，并在代码中构建请求头。它不仅仅是发送一个带有name+密码的POST请求，还包括一些其他隐藏参数，这些参数是用户访问网站时首先生成的——在客户端使用javascript。 也许可以理解生成这些隐藏参数背后的算法，但由于其复杂性，可能需要很长时间

以自动方式对网站进行爬网而不关心正确的标题的最佳方法是使用“无标题”浏览器，这是没有GUI的普通浏览器所没有的。您可以在代码中控制它。可以找到这些无头浏览器的列表

---

因此，无需观察和记录请求并在代码中进行模拟，只需使用无头浏览器即可

我想要的是使用简单的http请求爬网一个网站，该网站通过身份验证进行保护，并在我的代码中构建请求头。它不仅仅是发送一个带有name+密码的POST请求，还包括一些其他隐藏参数，这些参数是用户访问网站时首先生成的——在客户端使用javascript。 也许可以理解生成这些隐藏参数背后的算法，但由于其复杂性，可能需要很长时间

以自动方式对网站进行爬网而不关心正确的标题的最佳方法是使用“无标题”浏览器，这是没有GUI的普通浏览器所没有的。您可以在代码中控制它。可以找到这些无头浏览器的列表

---

因此，无需观察和记录请求并在代码中进行模拟，只需使用无头浏览器即可

在浏览器中按F12键，在打开的“开发人员工具”窗口中转到“网络”选项卡，可以在那里找到所有请求。您也可以尝试Fiddler.ok无需这样做，当我使用无头浏览器时，如phantomJS。在浏览器中按F12，在打开的“开发人员工具”窗口中转到“网络”选项卡，可以在那里找到所有请求。你也可以试试Fiddler.ok，不用了，当我使用无头浏览器时，比如phantomJS。