Seo robots.txt不允许属性

我不允许在所有爬虫程序中使用robots.txt的某些页面。我是否必须为这些文件编写元标记，或者网络爬虫只会跳过它们，这样就没有必要这样做

写得好的机器人会忽略这些页面（前提是robots.txt语法正确）。

写得好的机器人会忽略这些页面（前提是robots.txt语法正确）。

如果你想限制的爬虫遵守robots.txt，那么你很好，但如果不遵守，那么你很可能就完蛋了，因为很可能它也会忽略meta

---

所有主要的搜索引擎爬虫都遵守它，但是你可能很好。

如果你想要限制的爬虫遵守robots.txt，那么你很好，但是如果不遵守，那么你可能会被彻底搞糟，因为它也会忽略meta

---

所有主要的搜索引擎爬虫都遵守它，但是你可能很好。

你可以走了。所有大型搜索引擎（谷歌，真的）都遵守你在

robots.txt

中输入的任何内容

---

另外，请注意，

robots.txt

文件本身是可查看的，因此不要将其用作安全措施

你可以走了。所有大型搜索引擎（谷歌，真的）都遵守你在

robots.txt

中输入的任何内容

另外，请注意，

robots.txt

文件本身是可查看的，因此不要将其用作安全措施