Ruby on rails rails 404在公用子文件夹中出错

在我看来，爬虫程序试图解析所有公用文件夹子文件夹的索引，如“/images/foo”，这会导致404错误。我应该做些什么还是这很正常？

在你的

robots.txt

Disallow: /images/foo

---

尽量让爬虫远离他们不需要的东西，让他们专注于你需要的东西

如果foo里面有图像呢/images/foo/bar.png？不，只需使用/images/将整个文件夹屏蔽即可。99%的情况下，您不需要爬虫来查看或访问此文件夹。