Error handling 刮削报价不返回任何结果

Error handling 刮削报价不返回任何结果,error-handling,html-parsing,web-scraping,Error Handling,Html Parsing,Web Scraping,我在数据库中研究了这个问题,用谷歌搜索了这些问题,发现了两个不同的错误。我已经确定503错误是Amazon阻止我的,但是我得到了一个不同的错误,它沿着相同的路线,但是没有503返回。我无法破译这种差别。有人能帮忙吗?下面列出了我遇到的错误。我使用的html解析器是html Agility Pack,只是Agility 错误远程服务器返回错误:(503)服务器不可用 及 Scrape提供的服务没有返回任何结果 错误不一致,因此不容易捕获。该错误在下一次报废时返回。这是非常随机的,并且不会在同一产品

我在数据库中研究了这个问题,用谷歌搜索了这些问题,发现了两个不同的错误。我已经确定503错误是Amazon阻止我的,但是我得到了一个不同的错误,它沿着相同的路线,但是没有503返回。我无法破译这种差别。有人能帮忙吗?下面列出了我遇到的错误。我使用的html解析器是html Agility Pack,只是Agility

错误远程服务器返回错误:(503)服务器不可用

Scrape提供的服务没有返回任何结果


错误不一致,因此不容易捕获。该错误在下一次报废时返回。这是非常随机的,并且不会在同一产品上持续发生。我每天都会收到很多这样的信息,这使我无法更新价格并向客户提供正确的信息。

因此,我发现,问题在于发送到亚马逊的用户代理。 我在CURL选项中添加了以下命令,它现在可以工作了——即使没有US代理

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');

我在每20个网页请求之间留出1秒钟的睡眠时间。这就解决了我的问题。

我也有同样的问题。我使用的是CURL,服务器位于德国。你找到溶液了吗?