Hyperlink 为什么网站管理员在我尝试以Google身份获取时显示错误？

我一直试图自己解决这个问题，但找不到任何解决这个问题的办法。就在最近，我更改了一些页面的元名称，并确实在谷歌上抓取了主页，但它显示了内部页面的错误。以及为什么在我的页面正常时出现“Total robots.txt fetch errors”

我认为您应该创建一个没有内容的/robot.txt文件。默认情况下，这将允许所有类型的机器人都使用all。

您能详细解释一下bit吗？没有内容意味着什么？请分享一个url作为例子。我可以在没有robots.txt的情况下离开网站吗