Indexing 阻止谷歌索引网站/内容的方法

我手头上有一个案例，我必须是超级骗子，确保谷歌（或任何雅虎/必应）不会为特定内容编制索引，因此冗余越多越好

据我所知，有3种方法可以实现这一点，我想知道是否还有更多（冗余是这里的关键）：

将meta标记设置为无索引

不允许robots.txt中受影响的url结构

通过ajax后加载内容

所以，如果这些都是方法，那就好了，但如果有人知道如何更加确定，那就太棒了：D

---

（我知道这有点疯狂，但如果内容以某种方式出现在谷歌上，对我的公司来说会变得非常昂贵：“-（）

嗯，我想你可能需要某种注册/认证才能看到内容

在我的工作中，我们通过ajax方法使用加载后内容，它工作得非常好。只要确保在没有xhr头的情况下命中相同的ajax路由，就不会返回任何内容。（不过，我们将它与授权结合使用。）

---

<> P>我不认为在没有锁定某种身份验证后的数据的情况下是完全确定的。如果你的公司在那里退出的话会很贵，那么你可能会认真考虑它。

< P >如何阻止来自搜索引擎的IPS和搜索引擎用户代理的请求。.htaccess

---

它可能需要对IP和用户代理列表进行更多维护，但会起作用。

嗯，还有很多

a） 识别谷歌机器人（与其他机器人类似） 不要给他们看内容

b） 使用HTTP 404/HTTP 410头而不是HTTP 200返回这些页面

c） 仅向具有cookie/sessions的客户端显示这些页面

d） 将整个内容呈现为图像（然后取消图像显示）

e） 将整个内容呈现为图像数据URL（这样就不需要disalow）

f） URL结构中的用户管道（在谷歌工作，不知道其他页面）

g） 使用只工作5分钟的动态URL

---

这些只是我脑海中的一小部分。。。可能还有更多的

+1：这是迄今为止唯一真正有意义的答案，特别是当有人复制数据并将其发布到其他地方（我假设这会因为某种原因而变得昂贵）时，这有助于处理发生的情况，而且它处理的是行为不好的机器人和行为良好的机器人。首先，请记住，有很多，那里有很多机器人。你永远也得不到全部。