Ibm cloud IBM Watson自然语言理解错误“；尝试获取失败：：已关闭

我正在尝试使用IBMWatson自然语言理解服务测试一个站点。我正在使用这个工具（）并从我们的站点输入一个URL进行测试

使用我们的生产服务器（），我在站点的每个页面上都会遇到以下错误

{code: 400, error: "attempt to fetch failed: :closed"}

不过，使用同一站点（）的测试服务器，一切都可以正常工作

是什么导致生产服务器出现错误

---

谢谢

此错误通常由站点的robots.txt阻止Watson NLU服务抓取URL引起

检查robots.txt文件，看看它是否阻止了用户代理（可能是全局的）

---

使用Python SDK讨论此错误时，这里有一些附加信息：

看起来NLU已经更新了他们的爬网引擎，您提到的网站现在可以从NLU爬网，当我运行categories调用时，我收到以下输出

{
    "categories": [{
    "score": 0.999469,
    "label": "/education/graduate school/college"},{
    "score": 0.497251,
    "label": "/law, govt and politics/legal issues/legislation/tax laws},{
    "score": 0.466882,
    "label": "/travel/tourist destinations/africa"}]
}

---

谢谢我确实看到robots.txt文件可能导致这种情况，但我确实特别允许watson爬行器。请参见此处的robots文件->