Search engine 是否可以检索Google'；我的网站的完整索引是什么？

我正在管理一个大型网站，想知道它的哪些部分已经被谷歌编入索引。我想能够下载作为一个文件的索引，以便我可以解析和分析它离线

---

是否可以使用网站管理员工具、谷歌分析或任何其他工具下载谷歌索引的完整页面列表？有没有其他搜索引擎提供这样的选项？

任何人都可以看到您网站上使用google上的“site”命令编制索引的所有页面。转到google.com并在搜索框中输入如下内容：

site:stackoverflow.com

---

是的，我知道很多。然而，我的观点是下载索引。具有讽刺意味的是，谷歌屏蔽了机器人的访问，不允许你下载这些搜索结果。此外，这些类型的查询仅限于1000个左右的结果。