Seo Sitemap/robots.txt配置冲突

包含以下规则：

Disallow: /api/
Allow: /
Allow: /apiDocs

/apiDocs

URL位于网站地图中，但根据谷歌网站管理员工具，这些robots.txt规则禁止对其进行爬网。我想阻止对所有与

/api/*

匹配的URL进行爬网，但允许对URL

/apiDocs

进行爬网

我应该如何更改我的

robots.txt

来实现这一点？

• 记录中不允许换行（在

  Disallow

  和两行

  Allow

  之间有一行）

• 您不需要

  Allow:///code>（它与
  Disallow:
  相同，这是默认设置）
  

• 您不允许对

  /api/

  （路径以“api”开头，后跟“/”的任何URL）进行爬网，因此不需要

  允许：/apiDocs

  ，因为这是允许的

因此，您的回退记录应该如下所示：

User-Agent: *
Disallow: /login/
Disallow: /logout/
Disallow: /admin/
Disallow: /error/
Disallow: /festival/subscriptions
Disallow: /artistSubscription
Disallow: /privacy
Disallow: /terms
Disallow: /static
Disallow: /api/

当bot与此“回退”记录匹配时，允许它对路径以

apiDocs

开头的URL进行爬网