Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/unit-testing/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Web scraping 如何将代码外包给其他计算机以永久运行?_Web Scraping_Automation_Bots - Fatal编程技术网

Web scraping 如何将代码外包给其他计算机以永久运行?

Web scraping 如何将代码外包给其他计算机以永久运行?,web-scraping,automation,bots,Web Scraping,Automation,Bots,我已经创建了一个web scraper,它可以从web页面中刮取信息,并填充/生成一个API post的参数。该API post一直在运行。要刮取的页面大约有上万个,每个请求大约需要1秒,以防止出现过多的请求或429个错误 我希望通过将代码外包给其他IP地址来简化流程。如果我从我的IP运行更多请求,站点可能会开始阻止这些请求。我们的目标是让这段代码的4到5个实例永久运行 我所知道的唯一可行的解决方案是使用虚拟机运行代码的其他实例,但我认为有更简单的方法来实现这一目标。外包是一个错误的词 术语 您

我已经创建了一个web scraper,它可以从web页面中刮取信息,并填充/生成一个API post的参数。该API post一直在运行。要刮取的页面大约有上万个,每个请求大约需要1秒,以防止出现过多的请求或429个错误

我希望通过将代码外包给其他IP地址来简化流程。如果我从我的IP运行更多请求,站点可能会开始阻止这些请求。我们的目标是让这段代码的4到5个实例永久运行


我所知道的唯一可行的解决方案是使用虚拟机运行代码的其他实例,但我认为有更简单的方法来实现这一目标。

外包是一个错误的词

术语 您需要远程执行或某种方式,甚至可能需要

你可以用。或在HTTP之上。您将在、中找到您最喜欢的等。。。甚至有很多人来帮助你。您甚至可以找到用于web抓取的分布式库

你甚至可以更一般地考虑或做一些事情。您可能需要一些,因为它们更容易调试,例如上面提到的基于JSON的

详细信息是特定于操作系统的。
如果是在Linux上,那么请阅读,然后相关,然后。

这是一个糟糕的问题,因为询问资源时甚至没有提及之前的研究