Web crawler 命中率限制_Web Crawler_Nutch_Robots.txt

Web crawler 命中率限制

web-crawler

Web crawler 命中率限制,web-crawler,nutch,robots.txt,Web Crawler,Nutch,Robots.txt,有可能限制命中率/IP地址吗？换句话说，我是否可以配置nutch，使其每小时仅命中IP x次数，等等？是的，您可以通过更改nutch-default.xml文件中的fetcher.server.delay、fetcher.server.min.delay、fetcher.threads.per.queue、fetcher.queue.mode设置值来限制速率

有可能限制命中率/IP地址吗？换句话说，我是否可以配置nutch，使其每小时仅命中IP x次数，等等？

是的，您可以通过更改nutch-default.xml文件中的fetcher.server.delay、fetcher.server.min.delay、fetcher.threads.per.queue、fetcher.queue.mode设置值来限制速率