Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/javascript/448.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Javascript 如何保持网络爬虫运行?_Javascript_Node.js_Web Crawler - Fatal编程技术网

Javascript 如何保持网络爬虫运行?

Javascript 如何保持网络爬虫运行?,javascript,node.js,web-crawler,Javascript,Node.js,Web Crawler,我想用JS编写我自己的网络爬虫。我正在考虑使用node.js解决方案,例如 目标是每10分钟进行一次“爬网”——因此每10分钟我希望我的爬网程序从网站获取数据 我知道我可以写一个无限循环,比如: var keeRunning = true; while (keepRunning) { // fetch data and process it every 10 minutes } 如果我一直开着我的电脑,并且我在网站上的话,这将非常好地工作 然而,如果我关闭我的电脑,我可以想象它将不再工作。

我想用JS编写我自己的网络爬虫。我正在考虑使用node.js解决方案,例如

目标是每10分钟进行一次“爬网”——因此每10分钟我希望我的爬网程序从网站获取数据

我知道我可以写一个无限循环,比如:

var keeRunning = true;
while (keepRunning) {
  // fetch data and process it every 10 minutes
}
如果我一直开着我的电脑,并且我在网站上的话,这将非常好地工作

然而,如果我关闭我的电脑,我可以想象它将不再工作。那么,我应该考虑什么样的解决方案来一直保持脚本运行,即使在计算机关闭的时候?

< P>使用A来调度何时运行脚本(每X分钟,或在设置的时间等),并将应用程序部署到某个地方,这样它就可以在“强>服务器< /强>”上进行托管,而不会关闭。有很多这样的解决方案,您可以免费托管节点服务器


也许使用Web服务器?您应该考虑创建一个由您管理的服务。OS@Tasos这是怎么回事?如果我写了一个有while循环的页面,那么它只在我访问该页面时运行。即使我不在上面,它如何运行?您希望每10分钟刷新一次什么类型的数据?我怀疑他们会以这种频率注意到你,并且IP会阻止你——这种频率太高了。我运行scraper,它们每天运行一次。一个简单的虚拟专用服务器(VPS)在这里很好。您可以在那里安装节点,并从cron运行刮板。