Html 为什么我们必须在网站应用程序中编写robots.txt？

我不知道为什么robots.txt文件使用许多站点

任何人都可以向我解释它是如何帮助我们的网站或网页

让我知道如何编写（语法和关键字）robots.txt文件

---

感谢您

它列出了您不希望机器人程序点击的URL，这样您就可以避免搜索索引中的页面，并防止CPU密集型脚本被自动化进程重复点击

语法在中描述，基本上是一系列：

User-agent: $PATTERN

每个后跟任意数量的

Disallow: $PATH_PREFIX

有关robots.txt的所有信息，请参阅。它基本上用于搜索引擎对网页进行索引。

您检查过了吗？