对使用asp.net代码提取网页信息的网站管理员隐藏信息

我在一家房地产网站工作。我们有房子的信息，但其他一些网站收集我们的信息，并插入他们的网站。如何在浏览器中显示信息，而不向使用功能自动收集信息的机器人显示信息

请注意：我不是指搜索引擎，我是指那些使用代码通过阅读我发布的内容来提取信息的网站管理员，他们使用的功能包括get_file_content（url）

---

一种方法可能是使用javascript/vbscript对内容进行某种编码，因为在我的例子中，开发人员使用最后的html输出…

在您的网站中，添加一个包含以下内容的robots.txt文件：

User-agent: *
Disallow: /

---

导航器给出了一个解决方案
另一个解决方案是使用元标记
在HTML中添加标题后添加此项

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

---

更多信息：

刮刀将不会跟随robots.txt文件。