Search engine 要索引的块

我想知道是否有任何编程方法可以阻止任何搜索引擎索引网站内容。

为您的网站创建robots.txt文件。有关详细信息，请参阅。

您可以在中指定它

---

正如其他答案所说，Robots.txt是每个合适的搜索引擎都遵循的标准。在大多数情况下，这应该足够了

---

如果您真的想通过编程阻止不收听robots.txt的恶意机器人，请查看几个月前我问过的关于如何区分机器人和人类访客的问题。您可能会在这里找到一些很好的起点。

大多数搜索引擎机器人使用独特的用户代理识别自己

您可以使用robots.txt阻止特定的用户代理

---

一些用户代理。

由于您没有提到编程语言，我将从php的角度对此进行说明-有一个名为wordpress的插件，它完全符合您的要求，可以通过列出搜索代理字符串数组的代码脚本进行配置。根据代理在您的站点上爬行的内容，插件会自动检查用户代理的字符串和id，或IP地址，并基于数组，如果存在匹配项，它会拒绝或接受代理

从程序员的角度来看，看一看代码，看看它是如何完成的，这可能是值得的

如果该语言不是php，并且不能满足您的要求，那么我很抱歉发布此答案

希望这有帮助， 顺致敬意，

---

汤姆。

OP特别要求阻止任何搜索引擎+1@Pekka：并非所有网络爬虫都适用于搜索引擎。t下面的链接指向一种广泛使用的区分搜索引擎索引器的方法。我接受你的答案，因为你的链接提供的信息比其他链接更多；谢谢

User-agent: *
Disallow: /