如何构建搜索引擎?(2013年更新)

Dav*_*key 8 search search-engine nutch common-crawl

这不是第一次在Stackoverflow上这个问题- 但是差不多五年之后 - 时代和技术发生了一些变化.我想知道现在人们在构建搜索引擎的想法是什么?

例如,我知道Nutch正在继续开发 - 但它仍然是最强大的解决方案吗?是否有其他语言的替代成熟解决方案 - 例如C#,PHP,VB.NET?

我也知道现在有一个可以使用的公开可用的质量指数,减少了从Common Crawl执行自己的蜘蛛的需要.

当然,还有一些自定义搜索引擎解决方案,最着名的是谷歌的CSE ...但我不知道任何其他主要的/稳定的/有信誉的,我信任建立一个引擎?

现在有哪些资源可用于学习几年前甚至去年都没有的编程搜索引擎?