Mod rewrite 忽略robots.txt中没有参数的URL
我有一个像这样漂亮的网址Mod rewrite 忽略robots.txt中没有参数的URL,mod-rewrite,robots.txt,Mod Rewrite,Robots.txt,我有一个像这样漂亮的网址 http://example.com/category/shoes 如果url中没有shoes参数,我想禁止url,因为没有该参数,页面将重定向到主页 所以我在robots.txt文件中尝试了类似的方法 Disallow: /category/ Allow: /category/*?* 我不确定上述尝试是否正确?或者正确的实现方法是什么?要阻止: 无阻塞: 您可以使用$operator: User-agent: * Disallow: /category/$
http://example.com/category/shoes
如果url中没有shoes参数
,我想禁止url
,因为没有该参数,页面将重定向到主页
所以我在robots.txt
文件中尝试了类似的方法
Disallow: /category/
Allow: /category/*?*
我不确定上述尝试是否正确?或者正确的实现方法是什么?要阻止:
无阻塞:
您可以使用$operator:
User-agent: *
Disallow: /category/$
$表示“url的结尾”。请注意,并非所有web机器人都支持$operator。这是一个适用于所有主要搜索引擎的通用扩展,但它不是原始robots.txt标准的一部分
以下操作将不起作用:
Disallow: /category/
Allow: /category/*?*
这将阻止任何以/category/开头的URL路径,除非URL还包含问号。这可能不是你想要的。我做了一些研究,了解到谷歌和必应都尊重$
运营商。