Pagination Amazon的和服分页错误

Pagination Amazon的和服分页错误,pagination,web-scraping,kimono,Pagination,Web Scraping,Kimono,我正试图用和服刮去亚马逊的结果页面。例如,我在Amazon.co.uk搜索引擎上键入“Sony”,并希望从搜索结果中获取产品名称。我可以为一个页面这样做,但我想使用分页功能刮多个页面。到目前为止,我无法使分页工作。我选择“下一页”作为分页链接,但随后出现E20错误 有人知道我做错了什么吗?是亚马逊网页的结构阻止了分页功能的使用吗 谢谢! 弗洛 有人知道我做错了什么吗 看来你遇到了一个棘手的案子。它几乎总是用防刮擦的墙/沥青砌成的。亚马逊拥有数以十亿计的商品,可以肯定地说,它有很高的墙来防止数据被

我正试图用和服刮去亚马逊的结果页面。例如,我在Amazon.co.uk搜索引擎上键入“Sony”,并希望从搜索结果中获取产品名称。我可以为一个页面这样做,但我想使用分页功能刮多个页面。到目前为止,我无法使分页工作。我选择“下一页”作为分页链接,但随后出现E20错误

有人知道我做错了什么吗?是亚马逊网页的结构阻止了分页功能的使用吗

谢谢! 弗洛

有人知道我做错了什么吗

看来你遇到了一个棘手的案子。它几乎总是用防刮擦的墙/沥青砌成的。亚马逊拥有数以十亿计的商品,可以肯定地说,它有很高的墙来防止数据被盗,而像和服刮板这样的轻刮工具(99,99%)肯定会被它绊倒。 看

引用 这类网站特别警惕使用反刮措施来避免数据泄漏。所以,要做好准备,迎接意外的深坑、坠落和牢不可破的防火墙


我的建议是您选择任何一个,将代理服务插入其中,然后继续抓取。

我使用和服使用分页来抓取亚马逊中的页面。如何添加分页链接?我使用工具栏上的分页功能,尝试选择“下一页”链接或页码(1,2,3,…)。使用第一种方法,我得到了一个E20错误,除了第一种方法之外,我无法获得任何其他页面。使用第二种方法,我只能得到第1页和第2页,但不能超过这两页。我试图手动调整代码来解决这个问题,但没有成功。我使用下一页链接,但没有E20。我不确定最好的方法来帮助这件事。当您查看API数据模型视图时,您是否看到在其末尾的自己的部分中定义了分页,并将“next”键作为“Pagination Link”的数据?在高级视图中,您是否看到定义为=>分页链接{li.a-last>a}{/^()(下一步)的部分→)()$/}?{}格式是我的。@ValAsensio这是我在高级视图=>分页链接{a.pagnNext}{/^()(下一页)($/}中看到的内容.我尝试在高级视图中更改代码以使用您的,但仍然无效…我的源url是您正在删除的页面类型?我查看了您发布的链接并进行了分页详细信息,我发现它与我正在删除的亚马逊页面不同。我正在专门删除愿望列表。看起来亚马逊有一个不同之处按列表类型列出的不同分页格式。{a.pagnNext}可能会导致和服出现问题。很抱歉,我无法提供更多帮助。