Ajax 我们能识别在特定URL上点击的类似谷歌机器人的搜索引擎吗

我的问题：

我的客户端站点显示了更多的产品，并增加了更多的页面负载/权重。所以我决定使用ajax来加载更多的产品，而且效果很好。但在这里，它会影响搜索引擎优化——而且没有产品或交易被编入索引（即使我建议客户通过googlebase提交产品，但客户不喜欢这个想法，他希望谷歌直接进入网站，他还希望减少页面加载的时间）

问题： 我们可以识别Google机器人对服务器的爬网请求，或者像mozila一样的浏览器用户代理对站点（服务器）的请求

我的建议

---

我试图从请求中识别用户代理，但这不起作用（或者我可能遗漏了什么？）请任何人对此问题有正确的解决方案，以减少使用ajax的页面加载时间，并让googlebot对网站进行爬网。

解决此问题的一个策略是利用您正在使用的任何框架或CMS的分页功能。加载一页内容并在视图中显示分页链接，然后使用JavaScript隐藏分页链接，通过Ajax获取链接分页页面的内容并将其附加到当前页面。看看无限卷轴是如何为灵感而工作的：

基本上，您需要至少加载到包含其他内容的页面的链接，以便搜索引擎能够抓取内容，但您可以为启用JavaScript的用户隐藏这些链接

但为了更好地回答您的问题，可以使用htaccess重定向机器人：

---

但据我所知，更好的搜索引擎优化方法是在页面上实际提供相关内容或链接。

您只需搜索stackoverflow即可。围绕这一点有很多问题

简言之，Google有一个规范，可以让AJAX站点可爬行：

你也可以研究一下