Ruby on rails 铁路及；Javascript：奇怪的404。。。。也许是爬虫？

这也许是一个模糊的问题，但似乎有些机器人正在我的网站上爬行，而且做得很差。它似乎在猜测我的应用程序js文件中的ID，并将其放入URL中，例如：

Couldn't find Post with id=keypress

更奇怪的是，HTTP引用被列为application.js

---

以前有人经历过吗？有没有关于如何停止这些爬虫程序的想法？

如果它是合法的爬虫程序，您可以在根域目录中放置robot.txt文件时停止它-

您将在robots.txt文件中包含以下文本：

User-agent: *
Disallow: /YOUR_PATH_TO_FILE/application.js

您还可以将此标记添加到页面标题：

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

---

如果它是一个恶意爬虫，这当然不会阻止它。对于不尊重robots.txt的爬虫程序，您可以采取其他方法，但这取决于您使用的web服务器。

这将停止所有爬虫程序，包括搜索引擎爬虫程序，对吗？我怀疑他会想那样做。我认为最好从爬虫程序中排除application.js。