Indexing Googlebot是否为robots.txt阻止的页面上的链接编制索引?

Indexing Googlebot是否为robots.txt阻止的页面上的链接编制索引?,indexing,robots.txt,googlebot,Indexing,Robots.txt,Googlebot,My robots.txt: User-agent: googlebot disallow: /xxx/y.html y、 html有很多链接,比如/mmm/a.html和/asd/b.html 我的问题是,谷歌会索引/mmm/a.html和/asd/b.html吗 这些链接仅位于/xxx/y.html中。请注意,您的robots.txt在记录中不得有换行符,即在用户代理和禁止之间,因此应为: User-agent: googlebot Disallow: /xxx/y.html 此记录将

My robots.txt:

User-agent: googlebot

disallow: /xxx/y.html
y、 html有很多链接,比如/mmm/a.html和/asd/b.html

我的问题是,谷歌会索引/mmm/a.html和/asd/b.html吗


这些链接仅位于/xxx/y.html中。

请注意,您的robots.txt在记录中不得有换行符,即在用户代理和禁止之间,因此应为:

User-agent: googlebot
Disallow: /xxx/y.html
此记录将禁止googlebot对路径以/xxx/y.html开头的URL进行爬网。因此,它将阻止URL,如:

http://example.com/xxx/y.html http://example.com/xxx/y.html.zip http://example.com/xxx/y.html5 http://example.com/xxx/y.html/foo 这意味着谷歌机器人永远不会访问这些页面。因此,如果您在其中一个页面上有一个链接,bot一开始就找不到它

然而,如果谷歌以另一种方式了解到这样一个链接,它可能会访问它,除非它也被robots.txt阻止。这些其他方式可以是,例如,使用向谷歌发送统计数据的工具,如谷歌工具栏、谷歌分析等,让其他页面包含链接,在网站地图中包含链接,将链接提交给谷歌,等等