robots.txt不允许/variable\u dir\u name/directory
我需要通过robots.txt禁用/variable\u dir\u name/目录 我使用: 不允许:*/目录 Noindex://目录 这是否正确?以下内容应适用于robots.txt:robots.txt不允许/variable\u dir\u name/directory,directory,robots.txt,noindex,Directory,Robots.txt,Noindex,我需要通过robots.txt禁用/variable\u dir\u name/目录 我使用: 不允许:*/目录 Noindex://目录 这是否正确?以下内容应适用于robots.txt: User-Agent: * Disallow: /*/directory 进一步阅读谷歌:事实上,谷歌机器人有机会在Robots.txt中使用这些功能: User-Agent: * Disallow: /*/directory 诺因迪斯 不跟随 爬行延迟 但从2019年9月起,它们将不再支持这些(0
User-Agent: *
Disallow: /*/directory
进一步阅读谷歌:事实上,谷歌机器人有机会在Robots.txt中使用这些功能:
User-Agent: *
Disallow: /*/directory
- 诺因迪斯
- 不跟随
- 爬行延迟
- 通过robots.txt和禁用
- Noindex已经通过谷歌搜索控制台为文档编制了索引