Web 搜索引擎robot.txt

我想添加robot.txt以便可以找到我的网页

因此，我听说在我的站点根目录中放置一个带有meta标记的

robot.txt

，就可以做到这一点

• 这是真的吗？如果是这样
• 添加或生成robot.txt的步骤是什么

---

我发现

不，它不会让你的网页突然可见。它只是指导网络爬虫如何索引你的网站

---

不，它不会使您的网页突然可见。它只是指导网络爬虫如何索引你的网站

---

Robots.txt更适合告诉爬虫在到达您的站点后去哪里和不去哪里

---

让爬虫进入你的网站的一个更好的方法是为你的网站建立一个新的网站，然后使用提交这个网站地图给谷歌。您还需要在站点的根url中包含站点地图，并告诉google它在哪里（所有这些都可以在上面链接的google网站管理员工具中完成）

Robots.txt更适合告诉爬虫在到达您的站点后去哪里和不去哪里

让爬虫进入你的网站的一个更好的方法是为你的网站建立一个新的网站，然后使用提交这个网站地图给谷歌。您还需要在站点的根url中包含站点地图，并告诉google它在哪里（所有这些都可以在上面链接的google网站管理员工具中完成）