Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/visual-studio-code/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
robots.txt不允许/variable\u dir\u name/directory_Directory_Robots.txt_Noindex - Fatal编程技术网

robots.txt不允许/variable\u dir\u name/directory

robots.txt不允许/variable\u dir\u name/directory,directory,robots.txt,noindex,Directory,Robots.txt,Noindex,我需要通过robots.txt禁用/variable\u dir\u name/目录 我使用: 不允许:*/目录 Noindex://目录 这是否正确?以下内容应适用于robots.txt: User-Agent: * Disallow: /*/directory 进一步阅读谷歌:事实上,谷歌机器人有机会在Robots.txt中使用这些功能: User-Agent: * Disallow: /*/directory 诺因迪斯 不跟随 爬行延迟 但从2019年9月起,它们将不再支持这些(0

我需要通过robots.txt禁用/variable\u dir\u name/目录

我使用:

不允许:*/目录 Noindex://目录

这是否正确?

以下内容应适用于robots.txt:

User-Agent: *
Disallow: /*/directory

进一步阅读谷歌:

事实上,谷歌机器人有机会在Robots.txt中使用这些功能:

User-Agent: *
Disallow: /*/directory
  • 诺因迪斯
  • 不跟随
  • 爬行延迟
但从2019年9月起,它们将不再支持这些(0001%已使用)命令。因此,为了将来的安全,您应该只在页面上使用meta标记

您真正应该做的是:

  • 通过robots.txt和禁用
  • Noindex已经通过谷歌搜索控制台为文档编制了索引