Sitemap 仅允许访问Googlebot-robots.txt

我想允许访问一个单一的爬虫到我的网站-谷歌机器人之一。此外，我想谷歌机器人抓取和索引我的网站只根据网站地图

这是正确的密码吗

我知道只有“好”的机器人才会遵循robots.txt的指令，但这仍然是一个起点

User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /

---

站点地图：

这是您想要的

robots.txt

（请参阅中的更多示例）

---

这个问题似乎离题了，因为它是关于SEO的，而SEO在堆栈溢出时离题了。请阅读，以更好地理解什么时候可以在这里问SEO问题（大多数不是），以及在哪里可以得到帮助。

User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /