Cookies 谷歌索引页面背后的年龄限制形式

我有一张年龄限制表，需要在用户通过之前填写。它会写入一个cookie，如果用户没有填写cookie，则会将其发送回用户表单

---

在网站管理员工具中，它只显示为一个页面编制索引-有没有办法让谷歌抓取所有页面？

大多数网络爬虫不知道如何发布表单和存储/重新发送cookies。您可以做的是检查http请求的用户代理字符串，如果它与已知的用户代理字符串之一匹配，则不要将其重定向回age表单

它最终从一个旧的DMOZ列表中获取了元描述

下面的meta标记使站点忽略DMOZ条目