Web crawler 在没有robots.txt的情况下，哪些规则适用？

搜索引擎不应该抓取没有robots.txt的网站吗

编辑1：

---

如果连robots元标记都不存在呢？我正试图确定这里涉及的合法性。就是这样。

搜索引擎将在没有robots.txt文件的网站上抓取所有可公开访问的页面。

搜索引擎将在没有robots.txt文件的网站上抓取所有可公开访问的页面。

我想你应该说可能而不是will@David你说得对，我的错。它还取决于单个页面中的

标记。如果连robots元标记都不存在，该怎么办？我正试图确定这里涉及的合法性。就这样。@pranav不，我的意思是，爬虫可能会决定跳过网站的一部分，以获取其他信息reasons@David，请列举理由：）我想你应该说“可以”而不是“可以”will@David你说得对，我的错。它还取决于单个页面中的

标记。如果连robots元标记都不存在，该怎么办？我正试图确定这里涉及的合法性。就这样。@pranav不，我的意思是，爬虫可能会决定跳过网站的一部分，以获取其他信息reasons@David，请列举原因：）