"DHT搜索引擎"如何运作？

Question

我对名为a 的Btdigg.org感兴趣"DHT search engine".根据这篇文章,它不存储任何内容,甚至没有数据库.那它是如何工作的？它是否需要收集元信息并将其存储在数据库中,就像其他普通搜索引擎一样？用户提交查询后,它会扫描DHT网络并"实时"返回结果？这可能吗？

Answer 1

我对BTDigg没有具体的了解,但我认为没有数据库(或类似数据库的东西)的说法是错误的陈述.该文章的作者可能指的是您在传统的torrent网站中可能遇到的更具体的内容,例如存储实际的.torrent文件.

这就是类似BTDigg的网站的工作方式:

如果你想稍微奢侈一下,你也可以定期刮掉你知道的信息哈希值,以便随着时间的推移收集统计数据,也可以找出群体何时消亡并应从索引中删除.

因此,声称您不存储.torrent文件或任何内容都是正确的.

实时搜索DHT是不现实的,因为DHT不是围绕关键字搜索进行组织的,您需要在"后台"中连续构建和维护索引.

Answer 2

要深入了解DHT及其应用,请参阅Scott Wolchok的论文和演示文稿"为趣味和利润爬行BitTorrent DHT".他将自主搜索引擎的想法作为他对DHT安全性研究的旁注:

他的论文PDF:

他在DEFCON 18(第1和第2部分)上的演讲