Iframe 机器人会爬网吗?

Iframe 机器人会爬网吗?,iframe,robot,Iframe,Robot,机器人在iFrame内爬行是否常见?他们是怎么做到的?他们是立即为其编制索引,还是只是“记住”URL,然后有时再继续;我知道谷歌机器人有 如果有疑问,您可以使用robots.txt和页脚中的一些额外链接来控制。例如,请查看此页面底部的链接。iframe与任何其他HTML页面一样,只包含HTML内容。 所以是的,引擎机器人会抓取它们 您可能希望它们对其进行爬网,因为这可能就是您的内容所在的位置。 但是,您可能不希望用户直接在框架中访问您的网站 因此,您可能需要检测帧的缺失。因此,您将使用javas

机器人在iFrame内爬行是否常见?他们是怎么做到的?他们是立即为其编制索引,还是只是“记住”URL,然后有时再继续;我知道谷歌机器人有


如果有疑问,您可以使用robots.txt和页脚中的一些额外链接来控制。例如,请查看此页面底部的链接。

iframe与任何其他HTML页面一样,只包含HTML内容。
所以是的,引擎机器人会抓取它们

您可能希望它们对其进行爬网,因为这可能就是您的内容所在的位置。
但是,您可能不希望用户直接在框架中访问您的网站

因此,您可能需要检测帧的缺失。因此,您将使用javascript添加它们,因为它们不存在

<script type="text/javascript">
    if (top.frames.length==’0′) {
        window.location.replace("Appropriate url with frames");
    }
</script>

if(top.frames.length=='0'){
window.location.replace(“用框架替换适当的url”);
}
最后,我建议您不要使用框架。强烈不推荐它们,因为它们绝对反对任何可访问性策略。
他们使你的网站没有任何内容在他们的主页上看到。因此,这显然无助于你的排名


如果您可以避免它们,请这样做(而且您总是可以)。

如果在索引的HTML/XHTML页面上有href/src链接,它将被索引。页面是否通过iFrame呈现给用户无关紧要。

正如其他人所指出的,iFrame很容易被抓取。然而,我想澄清的是,你的页面不会因为iframed内容而获得“积分”。因此,您的页面实际上不会因为包含内容而被索引——它只是爬虫程序索引iframed页面并直接链接到它的垫脚石。了解iframe是否指向不在您的域中的内容,以及您是否希望利用iframe内容实现自己页面的可见性,这一点很重要。从你的问题中不确定这是否是你的意图。

最后一点毫无意义。你在说什么?如果一个站点的一部分仅通过iframe链接,那么你可以在页面的页脚这样的地方添加额外的链接。另一方面,如果你不想链接被编入索引,那么就用robots.txt文件来屏蔽它。是的,我知道,但这很有道理。搜索引擎优化目前其实并不重要。我们正在比较外部页面和内部页面的统计数据,我们想知道是否应该怪机器人。我不认为这是真的。iFrame不包含任何内容(HTML)。它们就像机器人的链接。你可能有点误会,你说的是帧,我说的是iFrame,但它们基本上是一样的。不管怎么说,我们没有使用框架进行布局,它有点复杂,我们有充分的理由使用它们,相信我:-)