Enr*_*oma 1 googlebot web-crawler
有谁知道Googlebot是用哪种编程语言编写的？
或者,更一般地说,哪种语言是高效的网络爬虫？
我见过许多Java语言,但在我看来,开发网络爬虫并不是最合适的语言,因为它会产生太多的开销(尝试使用Heritrix网络爬虫,而且非常繁重).
Mik*_*las 5
一个有根据的猜测是Python.他们雇用了它的创造者.但是,我可以想象他们的爬虫可能是一个利用MapReduce的分布式应用程序,在这种情况下它实际上可能是一个C/C++应用程序.
不过,这是重点.您可以使用多种不同语言编写高效的Web爬网程序,但仍可获得相同的结果.即使它是黄色或蓝色的锤子,锤子仍会击中钉子.选择您喜欢的颜色并正确使用它.
归档时间：
16 年，4 月 前
查看次数：
5215 次
最近记录：
13 年，10 月 前