Cookies 刮亚马逊。不同机器的搜索结果完全不同

Cookies 刮亚马逊。不同机器的搜索结果完全不同,cookies,web-scraping,amazon,vps,scrapinghub,Cookies,Web Scraping,Amazon,Vps,Scrapinghub,在amazon上为特定项目列表编写一个抓取应用程序 我形成了一个URL,然后刮恢复列表。。。尽管不同地点的搜索结果大不相同,但仍存在问题 我在自己的机器上创建了URL,并得到了一组很好的结果,然而,位于国外的VPS上的相同URL通过可靠的代理或vpn(我尝试了两者)指向我所在位置的ip,产生了一组完全不同的结果(列表小得多,项目也不相关) 知道为什么吗 我被告知在VPS上执行请求时使用cookie(来自我自己的PC),它可以正常工作,但它不能防止故障 在您自己的机器上连续运行两次是否产生一致的结

在amazon上为特定项目列表编写一个抓取应用程序

我形成了一个URL,然后刮恢复列表。。。尽管不同地点的搜索结果大不相同,但仍存在问题

我在自己的机器上创建了URL,并得到了一组很好的结果,然而,位于国外的VPS上的相同URL通过可靠的代理或vpn(我尝试了两者)指向我所在位置的ip,产生了一组完全不同的结果(列表小得多,项目也不相关)

知道为什么吗


我被告知在VPS上执行请求时使用cookie(来自我自己的PC),它可以正常工作,但它不能防止故障

在您自己的机器上连续运行两次是否产生一致的结果?是的,总是相同的结果(在合理的时间跨度内)。。因此,如果我在1小时内从我的机器上抓取URL中的列表,无论连续多少次,我都会得到相同的结果(除了零星的赞助项目)。。这同样适用于VPS,只是结果完全不同