Mod rewrite 忽略robots.txt中没有参数的URL

Mod rewrite 忽略robots.txt中没有参数的URL,mod-rewrite,robots.txt,Mod Rewrite,Robots.txt,我有一个像这样漂亮的网址 http://example.com/category/shoes 如果url中没有shoes参数,我想禁止url,因为没有该参数,页面将重定向到主页 所以我在robots.txt文件中尝试了类似的方法 Disallow: /category/ Allow: /category/*?* 我不确定上述尝试是否正确?或者正确的实现方法是什么?要阻止: 无阻塞: 您可以使用$operator: User-agent: * Disallow: /category/$

我有一个像这样漂亮的网址

http://example.com/category/shoes
如果url中没有
shoes参数
,我想
禁止
url
,因为没有该参数,页面将重定向到主页

所以我在
robots.txt
文件中尝试了类似的方法

Disallow: /category/
Allow: /category/*?*
我不确定上述尝试是否正确?或者正确的实现方法是什么?

要阻止:

无阻塞:

您可以使用$operator:

User-agent: *
Disallow: /category/$
$表示“url的结尾”。请注意,并非所有web机器人都支持$operator。这是一个适用于所有主要搜索引擎的通用扩展,但它不是原始robots.txt标准的一部分

以下操作将不起作用:

Disallow: /category/
Allow: /category/*?*

这将阻止任何以/category/开头的URL路径,除非URL还包含问号。这可能不是你想要的。

我做了一些研究,了解到谷歌和必应都尊重
$
运营商。