Seo 当我有robots.txt时，我是否应该删除元机器人（索引，跟随）？_Seo_Meta Tags_Robots.txt

Seo 当我有robots.txt时，我是否应该删除元机器人（索引，跟随）？

seo

Seo 当我有robots.txt时，我是否应该删除元机器人（索引，跟随）？,seo,meta-tags,robots.txt,Seo,Meta Tags,Robots.txt,如果我想让搜索引擎遵循我的robots.txt规则，我有点困惑是否应该删除robots元标记如果页面上存在robots元标记（index，follow），搜索引擎是否会忽略我的robots.txt文件，并在my robots.txt中为指定的不允许URL编制索引我之所以要问这个问题，是因为搜索引擎（主要是谷歌）仍然会从我的网站索引不允许的页面。如果搜索引擎的机器人尊重你的robots.txt，而你不允许爬行/foo，那么机器人将永远不会爬行URL路径以/foo开头的页面。因此，机器人永远不会

如果我想让搜索引擎遵循我的robots.txt规则，我有点困惑是否应该删除robots元标记

如果页面上存在robots元标记（index，follow），搜索引擎是否会忽略我的robots.txt文件，并在my robots.txt中为指定的不允许URL编制索引

我之所以要问这个问题，是因为搜索引擎（主要是谷歌）仍然会从我的网站索引不允许的页面。

如果搜索引擎的机器人尊重你的robots.txt，而你不允许爬行

/foo

，那么机器人将永远不会爬行URL路径以

/foo

开头的页面。因此，机器人永远不会知道有

元

机器人

元素

相反，这意味着如果您想禁止索引页面（通过指定

meta

robots

和

noindex

），则不应禁止在robots.txt中对此页面进行爬网。否则，

noindex

将永远不会被访问，并且bot认为禁止爬行，而不是索引。

如果搜索引擎的bot尊重您的robots.txt，并且您不允许爬行

/foo

，则bot将永远不会爬行URL路径以

/foo

开头的页面。因此，机器人永远不会知道有

元

机器人

元素

相反，这意味着如果您想禁止索引页面（通过指定

meta

robots

和

noindex

），则不应禁止在robots.txt中对此页面进行爬网。否则，

noindex

将永远不会被访问，并且bot认为禁止爬行，而不是索引。

如果搜索引擎的bot尊重您的robots.txt，并且您不允许爬行

/foo

，则bot将永远不会爬行URL路径以

/foo

开头的页面。因此，机器人永远不会知道有

元

机器人

元素

相反，这意味着如果您想禁止索引页面（通过指定

meta

robots

和

noindex

），则不应禁止在robots.txt中对此页面进行爬网。否则，

noindex

将永远不会被访问，并且bot认为禁止爬行，而不是索引。

如果搜索引擎的bot尊重您的robots.txt，并且您不允许爬行

/foo

，则bot将永远不会爬行URL路径以

/foo

开头的页面。因此，机器人永远不会知道有

元

机器人

元素

相反，这意味着如果您想禁止索引页面（通过指定

meta

robots

和

noindex

），则不应禁止在robots.txt中对此页面进行爬网。否则，

noindex

永远不会被访问，机器人认为爬行是被禁止的，而不是索引。

通过robots.txt，你可以告诉搜索引擎不要爬行某些页面，但这不会阻止他们索引页面。如果爬虫程序通过外部链接找到robots.txt中不允许的页面，则可以对其进行索引。这可以通过meta标记来防止。因此，robots.txt和meta标记的工作方式不同

爬网URL时会发现Robots元标记和X-Robots-Tag HTTP头。如果不允许页面在robots.txt文件中爬行，那么将找不到有关索引或服务指令的任何信息，因此将忽略这些信息。如果必须遵循索引或服务指令，则不能禁止对包含这些指令的URL进行爬网

有了robots.txt，你可以告诉搜索引擎不要抓取某些页面，但这不会阻止他们为页面编制索引。如果爬虫程序通过外部链接找到robots.txt中不允许的页面，则可以对其进行索引。这可以通过meta标记来防止。因此，robots.txt和meta标记的工作方式不同