Web crawler 如何从google中排除部分网页'；什么是索引？

有一种方法可以从谷歌的索引中排除完整的页面。但是有没有一种方法可以明确地将网页的某些部分从谷歌的抓取中排除？例如，排除通常包含不相关内容的侧栏？

如果您为AdSense执行此操作，请参阅如何从刮板中排除内容。如果你不想让谷歌关注链接，你可以给他们一个

rel=“nofollow”

属性。否则，恐怕你在这里会走运

---

您可以做的另一件事是在呈现页面之前检测用户代理，如果是蜘蛛或机器人，不显示您要排除的页面部分。

您可以使用IFRAME标记将您要隐藏在Googlebot的页面部分包括在内，并阻止robots.txt文件中包含的文件的索引

添加iframe以在页面中包含侧栏

<iframe src ="sidebar.asp" width="100%" height="300">
    </iframe>

---

伪装是一种非常危险的技术，因此我声明中的“但我不一定建议这样做”部分：）这通常是一种很好的机制，但对普通用户来说可能有缺点。这看起来确实不错，但我的边栏是动态的，很难分离。看起来除非谷歌明确支持它，就像AdSense支持的那样，这是唯一的方法。。。

user-agent: *
disallow: sidebar.asp