Web robots.txt使用语言排除路径

Web robots.txt使用语言排除路径,web,seo,robots.txt,noindex,Web,Seo,Robots.txt,Noindex,例如,如果我想在我的页面上不允许以下路径: 但不仅是/en/版本,还有/da/,/de/等等。你明白我的意思了 我怎样才能以最聪明的方式做到这一点?没有为每种语言的相同页面编写禁止 我试过: 不允许:/*/测试 和 不允许:/*测试 但我发现它也不允许其他页面,如: 等等 它应该只禁止我在文章开头指定的路径。在robots.txt中使用占位符/RegExp非常有限而且不可靠。有关更多信息,请参见此问题: 最好的解决方案可能是单独列出所有语言,或者编写一个脚本,输出包含所有规则的列表

例如,如果我想在我的页面上不允许以下路径:

但不仅是/en/版本,还有/da/,/de/等等。你明白我的意思了

我怎样才能以最聪明的方式做到这一点?没有为每种语言的相同页面编写禁止

我试过: 不允许:/*/测试 和 不允许:/*测试

但我发现它也不允许其他页面,如: 等等


它应该只禁止我在文章开头指定的路径。

在robots.txt中使用占位符/RegExp非常有限而且不可靠。有关更多信息,请参见此问题:

最好的解决方案可能是单独列出所有语言,或者编写一个脚本,输出包含所有规则的列表