Php 如何阅读发送假404标题的网页_Php_Header_Http Status Code 404_Web Crawler

Php 如何阅读发送假404标题的网页

php web-crawler

Php 如何阅读发送假404标题的网页,php,header,http-status-code-404,web-crawler,Php,Header,Http Status Code 404,Web Crawler,有没有什么方法可以让爬虫从发送假404头的页面中读取html。我尝试使用内爆和卷曲和文件获取内容来获取页面，但仍然获取标题404错误。您可能希望使用卷曲（或Guzzle），并在请求时实际添加用户代理。如果没有给（或阻止）用户代理，有些站点返回404（或其他错误）您可能希望使用curl（或Guzzle），并在请求时实际添加一个用户代理。如果未提供（或阻止）任何用户代理，某些站点返回404（或其他错误）您如何推断它是假标题？@DoSparKot因为显示网页页面您如何推断它是假标题？@DoSparKo

有没有什么方法可以让爬虫从发送假404头的页面中读取html。我尝试使用

内爆

和

卷曲

和

文件获取内容

来获取页面，但仍然获取标题404错误。

您可能希望使用卷曲（或Guzzle），并在请求时实际添加用户代理。如果没有给（或阻止）用户代理，有些站点返回404（或其他错误）

您可能希望使用curl（或Guzzle），并在请求时实际添加一个用户代理。如果未提供（或阻止）任何用户代理，某些站点返回404（或其他错误）

您如何推断它是假标题？@DoSparKot因为显示网页页面您如何推断它是假标题？@DoSparKot因为显示网页页面