Web crawler 使用HTTPS URL索引和爬网数据

我的网站是一种公共网站（用户无需登录即可查看）+私人网站（用户必须登录才能使用）

所以我的问题是，谷歌爬虫如何知道我的网站是私有的（URL带有https）。我还想抓取这些内容，并用HTTPS为我的所有ULR建立索引

---

是否有任何选项支持使用谷歌网站管理员工具的HTTPS URL。如果有一个支持这些URL的选项，那么我想知道Google crawler如何在不登录的情况下访问我的web内容。所以大家提前分享你的想法和感谢。

谷歌能够抓取和理解HTTPS URL，就像它能够抓取和理解HTTP URL一样。这就是说，谷歌无法登录到您的网站，因此登录后的任何内容都不会被谷歌看到。

可能是重复的