Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/url/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Web crawler 谷歌机器人(或任何其他高效的网络爬虫)是用哪种编程语言编写的?_Web Crawler_Googlebot - Fatal编程技术网

Web crawler 谷歌机器人(或任何其他高效的网络爬虫)是用哪种编程语言编写的?

Web crawler 谷歌机器人(或任何其他高效的网络爬虫)是用哪种编程语言编写的?,web-crawler,googlebot,Web Crawler,Googlebot,有人知道谷歌机器人是用哪种编程语言编写的吗 或者,更一般地说,高效的网络爬虫是用哪种语言编写的 我在Java语言中见过很多,但在我看来,它不是开发web爬虫的最合适的语言,因为它会产生太多的开销(用Heritrix web crawler尝试过,而且非常繁重)。不知道GoogleBot(很可能是C或Python),但Java和.NET中都有一些不错的 Nutch(经常与Lucene一起使用)是一个更流行的开源选项 Nutch本身是用Java编写的,效率相当高。还有一个名为Nutch.NET的.N

有人知道谷歌机器人是用哪种编程语言编写的吗

或者,更一般地说,高效的网络爬虫是用哪种语言编写的


我在Java语言中见过很多,但在我看来,它不是开发web爬虫的最合适的语言,因为它会产生太多的开销(用Heritrix web crawler尝试过,而且非常繁重)。

不知道GoogleBot(很可能是C或Python),但Java和.NET中都有一些不错的

Nutch(经常与Lucene一起使用)是一个更流行的开源选项


Nutch本身是用Java编写的,效率相当高。还有一个名为Nutch.NET的.NET端口。

不知道GoogleBot(很可能是C或Python),但Java和.NET中都有一些不错的端口

Nutch(经常与Lucene一起使用)是一个更流行的开源选项


Nutch本身是用Java编写的,效率相当高。还有一个名为Nutch.NET的.NET端口。

最早的版本是Backrub。

最早的版本是Backrub。

一个有根据的猜测是Python。他们。然而,我可以想象,他们的爬虫程序可能是一个分布式应用程序,利用了,在这种情况下,它实际上可能是一个C/C++应用程序


不过,这不是重点。您可以用多种不同的语言编写一个高效的web爬虫程序,但仍然可以得到相同的结果。即使是黄色或蓝色的锤子,锤子仍然会击中钉子。选择你最喜欢的颜色并正确使用它。

有根据的猜测是Python。他们。然而,我可以想象,他们的爬虫程序可能是一个分布式应用程序,利用了,在这种情况下,它实际上可能是一个C/C++应用程序


不过,这不是重点。您可以用多种不同的语言编写一个高效的web爬虫程序,但仍然可以得到相同的结果。即使是黄色或蓝色的锤子,锤子仍然会击中钉子。选择您喜欢的颜色并正确使用它。

我认为语言不会像具体实现那样重要


在Java中,您担心什么样的开销?内存、处理能力?

我认为语言不会像具体实现那样重要


在Java中,您担心什么样的开销?内存、处理能力?

这可能会有所帮助。谷歌原创报纸


这可能会有所帮助。谷歌原创报纸