Seo 如何配置robots.txt文件以阻止除2个目录以外的所有目录

我不想任何搜索引擎索引我的大部分网站

不过，我确实希望搜索引擎索引2个文件夹（及其子文件夹）。这是我设置的，但我认为它不起作用，我在谷歌上看到了我想隐藏的页面：

这是我的robots.txt

User-agent: *
Allow: /archive/
Allow: /lsic/
User-agent: *
Disallow: /

---

除了2之外，什么是禁止所有文件夹的正确方法？

我在这个论坛上给出了一个关于这个的教程。在维基百科

基本上，第一个匹配的robots.txt模式始终获胜：

User-agent: *
Allow: /archive/
Allow: /lsic/
Disallow: /

但我怀疑这可能太晚了。一旦页面被索引，就很难删除它。唯一的方法是将其转移到另一个文件夹，或者仅对该文件夹进行密码保护。您应该能够在主机CPanel中这样做