正确的robots.txt结构?(Mediawiki)

正确的robots.txt结构?(Mediawiki),mediawiki,robots.txt,Mediawiki,Robots.txt,我一直在不同的网站上查看robots.txt文件,在MediaWiki的robots.txt上偶然发现了一些意想不到的东西。根据我目前阅读的内容,您可以在robots.txt文件中编写,如下所示: Disallow: foo Noindex: bar 我想知道: Disallow: /wiki/Category:Noindexed_pages robots.txt文件的结构是否正确,或者至少mediawiki的结构是否正确?还想知道Noindexed_页面是否可以是任何内容,或者是否是静态的

我一直在不同的网站上查看robots.txt文件,在MediaWiki的robots.txt上偶然发现了一些意想不到的东西。根据我目前阅读的内容,您可以在robots.txt文件中编写,如下所示:

Disallow: foo
Noindex: bar
我想知道:

Disallow: /wiki/Category:Noindexed_pages
robots.txt文件的结构是否正确,或者至少mediawiki的结构是否正确?还想知道Noindexed_页面是否可以是任何内容,或者是否是静态的


最后一段代码取自robots.txt的维基百科文章。

/wiki/Category:Noindexed_pages是一个MediaWiki,链接到不应编入索引的页面。当搜索词是无索引页面标题的一部分时,该规则可能是为了防止类别本身出现在搜索结果中。

到底是什么让你感到奇怪?开头的斜杠?