Seo 如果我使用的是Apache2,我应该如何使用HTTP/0.9处理爬行器/网络爬虫?

Seo 如果我使用的是Apache2,我应该如何使用HTTP/0.9处理爬行器/网络爬虫?,seo,web-crawler,apache2.2,Seo,Web Crawler,Apache2.2,我使用Apache2提供内容,Bing机器人使用HTTP/0.9从我的服务器请求页面,而我的服务器不提供直接IP主机 如果我不知道他们想要哪台主机,但仍然需要他们为我的站点编制索引,我应该如何处理蜘蛛 我目前返回了400个错误请求,但这让我感到紧张,因为我的网站不会为Bing或Yahoo编制索引 谢谢 [已解决]:我已经返回了400个错误请求,Bing/Yahoo已经接受了提示 [已解决]:我已经返回了400个错误请求,Bing/Yahoo已经接受了提示

我使用Apache2提供内容,Bing机器人使用HTTP/0.9从我的服务器请求页面,而我的服务器不提供直接IP主机

如果我不知道他们想要哪台主机,但仍然需要他们为我的站点编制索引,我应该如何处理蜘蛛

我目前返回了400个错误请求,但这让我感到紧张,因为我的网站不会为Bing或Yahoo编制索引

谢谢

[已解决]:我已经返回了400个错误请求,Bing/Yahoo已经接受了提示

[已解决]:我已经返回了400个错误请求,Bing/Yahoo已经接受了提示