Seo 为什么Google robots.txt Tester出现错误且无效

如下图所示，Google WebMaster Tools robots.txt Tester告诉我9个错误，但我不知道如何修复，问题是什么？

---

请帮我找出

这是一个有效的robots.txt，但在文本文件的开头有一个。这就是为什么在第一行的“用户”旁边有一个红点。此标记告诉浏览器和文本编辑器将文件解释为UTF-8，而robots.txt仅使用ASCII字符

将文本文件转换为ASCII，错误就会消失。或者复制红点后的所有内容，然后再次尝试粘贴

我在实时版本上对此进行了测试，下面是从字节形式转换的结果：

\xef\xbb\xbfUser-agent: *\r\nDisallow: /en/news/iranology/\r\nDisallow:
 /en/tours-services/tour-the-soul-of-iran\r\nDisallow: 
/en/tours-services/tour-a-whistle-stop-tour\r\nDisallow: /en/to

您可以在开始处清楚地看到BOM表。浏览器和文本编辑器将忽略它，但它可能会干扰爬虫程序解析robots.txt的能力。您可以使用以下python脚本测试实时版本：

import urllib.request

text = urllib.request.urlopen('http://www.best-iran-trip.com/robots.txt')

print(repr(text.read()))

---

如果您能够安装，它实际上有一个编码菜单，允许您以任何格式保存它。

这是一个有效的robots.txt-但您在文本文件的开头有一个。这就是为什么在第一行的“用户”旁边有一个红点。此标记告诉浏览器和文本编辑器将文件解释为UTF-8，而robots.txt仅使用ASCII字符

将文本文件转换为ASCII，错误就会消失。或者复制红点后的所有内容，然后再次尝试粘贴

我在实时版本上对此进行了测试，下面是从字节形式转换的结果：

\xef\xbb\xbfUser-agent: *\r\nDisallow: /en/news/iranology/\r\nDisallow:
 /en/tours-services/tour-the-soul-of-iran\r\nDisallow: 
/en/tours-services/tour-a-whistle-stop-tour\r\nDisallow: /en/to

您可以在开始处清楚地看到BOM表。浏览器和文本编辑器将忽略它，但它可能会干扰爬虫程序解析robots.txt的能力。您可以使用以下python脚本测试实时版本：

import urllib.request

text = urllib.request.urlopen('http://www.best-iran-trip.com/robots.txt')

print(repr(text.read()))

---

如果您能够安装，它实际上有一个编码菜单，可以让您以任何格式保存它。

您可以使用网站管理员面板工具 测试你的机器人文件，然后下载

它工作正常

---

您可以使用网站管理员面板工具 测试你的机器人文件，然后下载

它工作正常

---

亲爱的Yhorian，请让我检查一下，我会告诉你结果。我在Windows和notepad.exe中创建了此文件，因此如何查看UTF BOM并检测它？我认为最好编辑您的答案，并为我和其他用户添加解决方案来解决此问题。如果您在Windows上，我建议使用notepad++。它有一个“编码”菜单，让你只需点击一个你想保存它。亲爱的Yhorian，请让我检查一下，我会告诉你结果。我在Windows和notepad.exe中创建了此文件，因此如何查看UTF BOM并检测它？我认为最好编辑您的答案，并为我和其他用户添加解决方案来解决此问题。如果您在Windows上，我建议使用notepad++。它有一个“编码”菜单，让你只需点击一个你想保存它。我找到了正确的答案，你可以在顶部看到。问题是文件编码，我找到了正确的答案，如上图所示。问题是文件编码