Seo 为什么谷歌要索引这个?

Seo 为什么谷歌要索引这个?,seo,search-engine,web-crawler,robots.txt,Seo,Search Engine,Web Crawler,Robots.txt,在本网页中: 这是一张图片: 如果robots.txt中有“Disallow:/sites/”,为什么要索引此图像 您可以看到此搜索中的索引: 使用谷歌网站管理员工具,您可以测试robots.txt 您是否禁止所有机器人,或者这条规则仅适用于谷歌机器人?如果是后者,您需要确保还包括“Googlebot Image”用户代理的规则。因为域名不同(实际上是一个域和一个子域):页面来自,图像来自 Robots.txt仅在www域中。如果该文件也在谷歌的搜索引擎中,谷歌不会为该图像编制索引 尝试访问

在本网页中:

这是一张图片:

如果robots.txt中有“Disallow:/sites/”,为什么要索引此图像

您可以看到此搜索中的索引:


使用谷歌网站管理员工具,您可以测试robots.txt


您是否禁止所有机器人,或者这条规则仅适用于谷歌机器人?如果是后者,您需要确保还包括“Googlebot Image”用户代理的规则。

因为域名不同(实际上是一个域和一个子域):页面来自,图像来自

Robots.txt仅在www域中。如果该文件也在谷歌的搜索引擎中,谷歌不会为该图像编制索引


尝试访问和,您将看到不同的页面。

但是robots.txt也在子域中: