Web crawler 如何使用robots.txt处理不同子域的web爬网-允许abc.sample.com但不允许cde.sample.com
目前，我的网站有两个子域名，比如abc.sample.com和cde.sample.com。现在，我们希望避免对特定子域abc.sample.com进行爬网，但对于cde.sample.com，需要支持爬网 我们有两个网站相同的代码集，所以robots.txt也将是相同的Web crawler 如何使用robots.txt处理不同子域的web爬网-允许abc.sample.com但不允许cde.sample.com,web-crawler,subdomain,robots.txt,Web Crawler,Subdomain,Robots.txt,目前，我的网站有两个子域名，比如abc.sample.com和cde.sample.com。现在，我们希望避免对特定子域abc.sample.com进行爬网，但对于cde.sample.com，需要支持爬网 我们有两个网站相同的代码集，所以robots.txt也将是相同的 在探索robot.txt时，我们似乎可以避免/允许对同一站点的不同页面进行爬网，但我需要基于子域对我的站点进行爬网 尽量说得更具体些。你尝试了什么？@DavidGarcíaBodego-我更新了我的问题。简而言之，我们希望避免
在探索robot.txt时，我们似乎可以避免/允许对同一站点的不同页面进行爬网，但我需要基于子域对我的站点进行爬网 尽量说得更具体些。你尝试了什么？@DavidGarcíaBodego-我更新了我的问题。简而言之，我们希望避免使用robots.txt为我们的子域之一爬行