Web scraping 如何将代码外包给其他计算机以永久运行?
我已经创建了一个web scraper,它可以从web页面中刮取信息,并填充/生成一个API post的参数。该API post一直在运行。要刮取的页面大约有上万个,每个请求大约需要1秒,以防止出现过多的请求或429个错误 我希望通过将代码外包给其他IP地址来简化流程。如果我从我的IP运行更多请求,站点可能会开始阻止这些请求。我们的目标是让这段代码的4到5个实例永久运行Web scraping 如何将代码外包给其他计算机以永久运行?,web-scraping,automation,bots,Web Scraping,Automation,Bots,我已经创建了一个web scraper,它可以从web页面中刮取信息,并填充/生成一个API post的参数。该API post一直在运行。要刮取的页面大约有上万个,每个请求大约需要1秒,以防止出现过多的请求或429个错误 我希望通过将代码外包给其他IP地址来简化流程。如果我从我的IP运行更多请求,站点可能会开始阻止这些请求。我们的目标是让这段代码的4到5个实例永久运行 我所知道的唯一可行的解决方案是使用虚拟机运行代码的其他实例,但我认为有更简单的方法来实现这一目标。外包是一个错误的词 术语 您
我所知道的唯一可行的解决方案是使用虚拟机运行代码的其他实例,但我认为有更简单的方法来实现这一目标。外包是一个错误的词 术语 您需要远程执行或某种方式,甚至可能需要 你可以用。或在HTTP之上。您将在、中找到您最喜欢的等。。。甚至有很多人来帮助你。您甚至可以找到用于web抓取的分布式库 你甚至可以更一般地考虑或做一些事情。您可能需要一些,因为它们更容易调试,例如上面提到的基于JSON的 详细信息是特定于操作系统的。
如果是在Linux上,那么请阅读,然后相关,然后。这是一个糟糕的问题,因为询问资源时甚至没有提及之前的研究