Java 我使用httpclient爬网页面,但为什么会被阻止

Java 我使用httpclient爬网页面,但为什么会被阻止,java,httpclient,Java,Httpclient,我写这个java代码来抓取网页,它运行在服务器上。几天后,今天我失望地发现爬网线被阻塞了。从日志中,我可以说它被executeMethod方法阻塞了。有人能告诉我如何处理这个问题吗 而且,它报告了两次504或503警告,当第三次刷新此页面时,出现了问题,线程被阻塞,我不希望出现这种情况。这段代码是否在线程中运行?看起来好像您试图快速连续地向strUrl发送太多请求。这段代码是否在线程中运行?看起来好像您正试图快速连续地向strUrl发送太多请求。 method = new GetMethod(s

我写这个java代码来抓取网页,它运行在服务器上。几天后,今天我失望地发现爬网线被阻塞了。从日志中,我可以说它被executeMethod方法阻塞了。有人能告诉我如何处理这个问题吗


而且,它报告了两次504或503警告,当第三次刷新此页面时,出现了问题,线程被阻塞,我不希望出现这种情况。

这段代码是否在线程中运行?看起来好像您试图快速连续地向strUrl发送太多请求。这段代码是否在线程中运行?看起来好像您正试图快速连续地向strUrl发送太多请求。
method = new GetMethod(strUrl);
log.info("Befor execueteMechod");
statusCode = client.executeMethod(method);
log.info("After execueteMechod");