Seo Robots.txt不允许文件夹,但允许子文件夹

Seo Robots.txt不允许文件夹,但允许子文件夹,seo,google-search,robots.txt,Seo,Google Search,Robots.txt,我正在尝试将其设置为不允许www.url.com/folder,但允许www.url.com/folder/1。我将其设置如下: User-agent: * Disallow: /folder Allow: /folder/* 当使用GoogleRobots.txt测试仪进行测试时,它可以工作,但是如果我查看日志,我可以看到Googlebot命中了除/folder之外的所有URL 我错过什么了吗?应该允许先走吗?我认为这个应该可以: User-agent: * Disallow: /folde

我正在尝试将其设置为不允许
www.url.com/folder
,但允许
www.url.com/folder/1
。我将其设置如下:

User-agent: *
Disallow: /folder
Allow: /folder/*

当使用GoogleRobots.txt测试仪进行测试时,它可以工作,但是如果我查看日志,我可以看到Googlebot命中了除/folder之外的所有URL


我错过什么了吗?应该允许先走吗?

我认为这个应该可以:

User-agent: *
Disallow: /folder/$
Allow: /folder/*

“除/folder之外的所有URL”的可能重复项--这些URL是哪些,您希望禁止哪些?站点上的任何其他URL,即/about。我现在已经从文件中删除了/文件夹限制,看看这是否会改变什么。