Bots NoFollow规则后的Bot函数
我只是想知道，在元标记中使用了禁止跟随规则之后，googlebot或任何其他搜索引擎spider/bot的功能是什么。假设bot位于您的站点上，并通过链接重定向等方式到达某个页面，但是如果链接页面包含代码Bots NoFollow规则后的Bot函数,bots,noindex,Bots,Noindex,我只是想知道，在元标记中使用了禁止跟随规则之后，googlebot或任何其他搜索引擎spider/bot的功能是什么。假设bot位于您的站点上，并通过链接重定向等方式到达某个页面，但是如果链接页面包含代码，那么bot之后会去哪里？它是返回到上一页还是执行其他功能？希望这听起来不是一个愚蠢的问题，但我只是好奇。通常，网络爬虫在遇到给定网页上的链接时，不会直接访问这些链接，而是将这些链接添加到等待列表中，当爬虫加载完当前页面后，他只需查看该列表并从那里弹出另一个url，新链接不需要来自上一个获取的页