Java 在servlet中调用jsoup爬虫程序时出错

我正在尝试对flipkart产品规范进行爬网，当我将其作为java应用程序运行时，代码运行良好。但当我在servlet中调用它时，它会给我一个错误：

org.jsoup.nodes.Document doc;

Elements specs = null;

try {
    doc = Jsoup.connect(link).timeout(250000).get();
    specs = doc.select("table[class=specTable]");

    System.out.println(specs);

} catch (IOException e) {
    // TODO Auto-generated catch block
    e.printStackTrace();
}

错误：

java.io.IOException: 500 error loading URL http://www.......
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:414)
at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:425)

---

当我使用userAgent mozilla时工作

doc3 = Jsoup.connect(link).userAgent("Mozilla").timeout(250000).get();

---

你试过设置用户代理吗？是的。如果我给一些其他flipkart链接，比如“flipkart.com”作为链接字符串，它是有效的，但不适用于此页面。请使用您使用的userAgent更新您的问题