Html 如何确保搜索引擎不'；我的网站在开发过程中没有索引？

我正在开发一个网站。我使用了很多示例占位符文本以及虚拟图像。我想确保谷歌不会在我还在开发的时候索引我的页面

是否有任何代码可以添加到我的页面，以确保搜索引擎此时不会为我的站点编制索引？

设置robots.txt

这应该会影响所有你关心的搜索引擎

（或者您可以临时使用密码保护站点。）

尝试使用。但要当心它。有些机器人会完全崩溃

有些是在robots.txt上

---

正如其他人所说，你真的不应该公开开发你的网站。更好的解决方案是在不面向internet的本地计算机上开发，或限制对正在开发的站点部分的访问。

您可以做的不多，但“正在构建”页面会有所帮助。

在网站根目录下创建一个名为“robots.txt”的文件，并在其中放入：

Disallow: /

---

然后上传。谷歌会关注你的robots.txt文件，但不是所有的爬虫都会关注它。

添加robots.txt文件会阻止网站对其进行索引

你可以在这里找到更多的信息，但基本上它告诉网络机器人/蜘蛛忽略网站

---

希望这有帮助

您可以在这里找到的类似问题中找到一些解决问题的建议：

---

基本上，您可以使用robots.txt，创建一个私有文件夹，或者为开发站点上的所有URL返回403（使用HTTP身份验证）。

理想情况下，您不应该首先在公共战线上开发站点

但是您可以像这样编辑您的

robots.txt

：

User-agent: *
Disallow: /

---

如果您必须在线开发…；）有两种简单的方法可以做到这一点

创建robots.txt文件(

---

仅将htaccess用于密码访问（）

添加meta标记

请参见

与其他解决方案相比，这是一个相对较差的解决方案。它只适用于HTML文档，当网站准备公开时，它必须从每个HTML文档中删除。在我的例子中，我在S3静态宿主中只有一个HTML文件和所有需要的内容。我希望看到所有选项，而不仅仅是最复杂、最强大的。