Indexing 如何从搜索引擎中阻止站点中的所有子域?

Indexing 如何从搜索引擎中阻止站点中的所有子域?,indexing,web-crawler,robots.txt,Indexing,Web Crawler,Robots.txt,我有大约300+为我的网站子域,我需要阻止他们在搜索引擎索引。 我看到这个robots.txt代码 用户代理:* 禁止:/ 但我需要为每个子域执行此操作,是否有更简单的方法使用主域根目录中的单个robot.txt文件执行此操作。我相信您可以在此处使用正则表达式。实际上,您可以对所有子域使用相同的robots.txt:PBy顺便问一下-在根目录中使用robots.txt和Disallow:/。你怎么能说机器人正在探索你的子域?

我有大约300+为我的网站子域,我需要阻止他们在搜索引擎索引。 我看到这个robots.txt代码 用户代理:* 禁止:/


但我需要为每个子域执行此操作,是否有更简单的方法使用主域根目录中的单个robot.txt文件执行此操作。

我相信您可以在此处使用正则表达式。实际上,您可以对所有子域使用相同的robots.txt:PBy顺便问一下-在根目录中使用robots.txt和Disallow:/。你怎么能说机器人正在探索你的子域?