Ajax 使用#索引页面！在URL中

在谷歌网站管理员工具帐户的url参数下有一个_转义_片段u参数。既然谷歌声明它不会抓取这些URL，我是否应该在本节告诉它不要抓取这些URL

此外，我希望谷歌能抓取我的网址有#！因为这是在我的画廊里整理图片的方法

---

谷歌还声明要在包含这些URL的页面中添加以下内容：

。这是正确的程序吗？我注意到谷歌没有抓取这些类型的URL。现在我添加了这个，它会爬网吗

谷歌实际上会抓取

\u转义\u片段

版本的URL，因为片段只存在于客户端；这是创建的主要原因。
如果您限制爬虫对这些URL的访问，那么您的站点在搜索结果时将非常困难，因此我建议让爬虫访问这些URL（即，不要为它们设置任何特殊处理）

你提到的元标签实际上会告诉谷歌不要重写URL；如果URL中有hashbang（#！），那么这不是您想要的，所以不要添加meta标记

为了使没有散列片段的页面可爬行，在页面的HTML头部包含一个特殊的元标记。meta标记采用以下内容：

---

你的答案有点令人困惑。所以在站长工具下，我应该让谷歌用这个参数抓取每个url？我应该在我的标题中添加meta标签吗？更新了答案使其更加具体。因为我在谷歌网站管理员工具中监控了32000个URL。我会让谷歌机器人抓取网址。然而，我也得到了这些类型的爬网错误：带有空值。我应该在我的robots.txt中删除/阻止这些URL吗？或者我应该在传递空的escape\u fragement参数时创建htaccess重定向吗？