Seo 可以在robots.txt中使用相对站点地图url吗?

Seo 可以在robots.txt中使用相对站点地图url吗?,seo,sitemap,robots.txt,Seo,Sitemap,Robots.txt,在robots.txt中,我可以为站点地图文件编写以下相对URL吗 sitemap: /sitemap.ashx 或者我必须使用站点地图文件的完整(绝对)URL,如: sitemap: http://subdomain.domain.com/sitemap.ashx 为什么我想知道: 我拥有一个新的博客服务www.domain.com,允许用户在accountname.domain.com上写博客 我使用通配符,所以所有子域(帐户)都指向:“blog.domain.com” 在blog.

在robots.txt中,我可以为站点地图文件编写以下相对URL吗

sitemap: /sitemap.ashx
或者我必须使用站点地图文件的完整(绝对)URL,如:

sitemap: http://subdomain.domain.com/sitemap.ashx
为什么我想知道:

  • 我拥有一个新的博客服务www.domain.com,允许用户在accountname.domain.com上写博客
  • 我使用通配符,所以所有子域(帐户)都指向:“blog.domain.com”
在blog.domain.com中,我使用robots.txt让搜索引擎找到站点地图。 但是,由于通配符的原因,所有用户帐户共享相同的robots.txt文件。这就是为什么我不能使用第二个选项。现在我不能对txt文件使用url重写。(我想更高版本的IIS可以处理这个问题吗?

根据官方的说法,它需要一个完整的URL:

您可以使用robots.txt文件指定站点地图的位置。要做到这一点,只需在站点地图中添加以下行,包括完整的URL:

Sitemap: http://www.example.com/sitemap.xml

谷歌爬虫不够聪明,它们不能抓取相对的URL,这就是为什么总是建议使用绝对URL来更好地抓取和索引

因此,您不能使用此变体

> sitemap: /sitemap.xml
建议的语法是

Sitemap: https://www.yourdomain.com/sitemap.xml
注:

  • 别忘了大写“站点地图”中的第一个字母
  • 别忘了在“站点地图:”后面加空格

    • 好的技术和逻辑问题,我亲爱的朋友。 不,在robots.txt文件中,您不能使用站点地图的相对URL;您需要使用站点地图的完整URL

      最好使用“站点地图”:

      在上面的URL中,冒号后给出空格。
      我也喜欢支持Deepak。

      请注意@unor的示例有:带大写字母s的站点地图。这很重要,因为Robots.txt区分大小写。在case主题中,指定文件名为
      Robots.txt
      ,不带大写字母R。如果站点正在加载https,则使用http提及站点地图URL。这样好吗?或者我们必须根据协议放置站点地图URL吗?@Shams:站点地图中列出的URL必须使用与站点地图文件相同的协议和主机。如果您的站点在
      http
      https
      下可用,则您可以。