Jquery 谷歌会抓取AJAX内容吗？

在我的站点主页上，我使用JQuery的ajax功能来下拉用户最近活动的列表

最近的活动显示在页面上，最近的活动的每一行都包含一个指向执行该活动的用户的用户配置文件的链接

谷歌是否真的会调用ajax来提取这些信息，并将其用于计算页面相关性/链接流量

---

我希望不会，因为用户配置文件页面不太适合谷歌索引，我不希望所有这些指向用户配置文件页面的链接稀释我主页的链接流，远离其他更重要的链接

。如果你想保证谷歌不会抓取你的JSON响应。但这不是安全；事实上，这是黑客第一个寻找“有趣”页面的地方

否，默认情况下它不会抓取AJAX内容

---

有关于如何使AJAX内容可爬行的说明，但这些都是您需要采取的明确步骤，它不是自动的。

这里是关于JQuery地址插件制造商的AJAX爬行。

谷歌肯定是在我们的页面中爬行内容，这些内容只在AJAX请求中引用

我想知道谷歌是否正在浏览页面源代码，寻找可能有效的URL，并测试它们是否有内容

这是我们的要求看起来像。。。这可能会让我们对正在发生的事情有所了解

'$(document).ready(function() {
    $("#theDiv").block({ message: 'Getting latest content...' });
    $.ajax({
        url: '/content/pages/articles?count=4&part=true',
        success: function(data) {
            $('#theDiv').html(data);
            $("#theDiv").unblock();
        }
    });
});`

---

谷歌现在有了一种在AJAX页面上实现爬行的方法。如果您的链接包含“#！”，则google将其更改为“？_expaired_fragment”，并从您的服务器请求该文档。但是，当它在搜索结果中显示该页面时，它将显示带有“#！”的原始URL

---

谷歌本身并不抓取AJAX内容，但它提出了一个让AJAX内容抓取的方案。我写了一篇文章来解释它是如何工作的。它还包括非常简单的代码来演示针对AJAX内容的Google爬行方案。在这里找到它：

对于Ruby用户来说，有一个gem可以相对轻松地处理这个问题。。。。google_ajax_crawler，在

上写关于在backbonejs中使用它的文章是的，google会抓取使用javascript创建的动态内容。它可以在加载后识别DOM，包括对title标记的修改。它还可以跟踪使用onclick事件处理程序创建的链接

请在此处阅读：

---

不过，它会尊重你的个人资料链接。

上个月谷歌已经停止支持ajax！

---

嗯，也许我可以用robots.txt来做。那不会被认为是黑帽搜索引擎优化吧？因为我限制它的唯一原因是为了塑造我的pagerank流？在robots.txt中放一个页面不是“blackhat SEO”。但这并不能保证如果你将数据包含在非排除页面中，谷歌机器人不会看到这些数据。一般来说，任何试图使页面与谷歌机器人与真实用户看到的页面有本质区别的行为都是不允许的。但异步内容是一个特例，因为1）它很常见，2）谷歌仍在研究如何处理它。我怀疑它迟早会被编入索引。这个答案很古老。但是，现在谷歌基本上是在一个实际的网络浏览器中运行和呈现你的页面，这对每个人来说都是显而易见的。他们肯定是在执行AJAX请求。该链接指向一个页面，上面写着：“此建议自2015年10月起被正式弃用”。该链接说：“此建议自2015年10月起被正式弃用”。它并没有停止支持AJAX。相反，它现在通过像浏览器那样呈现页面来自动完成。谷歌表示，你不必再为2009年谷歌提出的额外要求操心了。