Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/codeigniter/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Web crawler 多语言网站的robots.txt文件_Web Crawler_Multilingual_Robots.txt - Fatal编程技术网
Fatal编程技术网
  • web-crawler/
  • Web crawler 多语言网站的robots.txt文件

Web crawler 多语言网站的robots.txt文件

web-crawler

Web crawler 多语言网站的robots.txt文件,web-crawler,multilingual,robots.txt,Web Crawler,Multilingual,Robots.txt,嗨，我正试图为我的网站生成一个robots.txt文件，但我在处理多语言URL时遇到了一个问题。 例如，我想禁用此URL http://www.example.com/en/shop http://www.example.com/ar/shop http://www.example.com/fr/shop 那么我必须写作吗 Disallow: /en/shop Disallow: /ar/shop Disallow: /fr/shop 还是这就够了 Disallow: /*/shop 多谢

嗨，我正试图为我的网站生成一个robots.txt文件，但我在处理多语言URL时遇到了一个问题。 例如，我想禁用此URL

http://www.example.com/en/shop
http://www.example.com/ar/shop
http://www.example.com/fr/shop
那么我必须写作吗

Disallow: /en/shop
Disallow: /ar/shop
Disallow: /fr/shop
还是这就够了

Disallow: /*/shop
多谢各位