Php 什么时候爬虫会被告知页面是404?

Php 什么时候爬虫会被告知页面是404?,php,http-status-code-404,web-crawler,Php,Http Status Code 404,Web Crawler,我一直在考虑使用一个php脚本作为404页面和一个数据库来匹配原始页面的URI和一个可能的重定向(如果它存在的话)(否则显示404HTML) 我在阅读和搜索时遇到了这个问题。这正是我想要做的 我有一个问题是由此引出的,它阻止了我尝试实施它。什么时候爬虫会被告知页面是404 我想假设客户机(无论是用户还是机器人)将请求页面,服务器将获取404脚本+页面,解析php,然后将404页面或匹配的重定向页面返回给客户机。是这样吗?在返回页面之前,客户端是否会忘记404状态 在返回页面之前,客户端是否会忘记

我一直在考虑使用一个php脚本作为404页面和一个数据库来匹配原始页面的URI和一个可能的重定向(如果它存在的话)(否则显示404HTML)

我在阅读和搜索时遇到了这个问题。这正是我想要做的

我有一个问题是由此引出的,它阻止了我尝试实施它。什么时候爬虫会被告知页面是404

我想假设客户机(无论是用户还是机器人)将请求页面,服务器将获取404脚本+页面,解析php,然后将404页面或匹配的重定向页面返回给客户机。是这样吗?在返回页面之前,客户端是否会忘记404状态

在返回页面之前,客户端是否会忘记404状态


对。在收到请求的响应之前,您无法知道会出现404错误。

谢谢昆汀,我想会是这样,但不完全确定采用的流程。我要试一试。