Web crawler 我如何告诉谷歌不要抓取一组URL

如何阻止google爬网到我应用程序中的特定URL

例如：我希望谷歌停止对所有以

http://www.myhost-test.com/

---

我应该在robot.txt中添加什么？

答案可以直接在这里找到：

---

但看起来您添加了“不允许”和您的url。

您是否尝试过搜索？回答此问题的人请说明原因？