在活动网站中检索外部 torrent 统计信息的最佳方法

Jes*_*eón 5 php bittorrent tracker torrent

我正在制作一个类似于 The Pirate Bay、Kickass.to 等的 BitTorrent 跟踪器/网站。有必要在索引和 torrent 页面中检索 torrent 统计信息(播种器、下载量)。例子:

http://kat.cr/ubuntu-15-04-vivid-vervet-desktop-amd64-iso-final-t10550003.html
播种者:3442 水蛭:148

如果 torrent 使用我的跟踪器,则可以轻松快速检索两个页面的数据。但是,如果 torrent 使用不同的跟踪器,我需要从所述跟踪器中抓取其统计信息(向其发出请求),但这通常需要每个 torrent 几秒钟的时间,显然,我不能让用户等待很想看到清单。

我制作了一个脚本,可以抓取在后台运行的最新 90 个种子,但恐怕这还不够。网站将会发展壮大,种子总数可能会超过 5000 个。我认为在后台抓取那么多种子是行不通的。

我怎样才能做到这一点?

the*_*472 3

可以使用以下获取统计信息的策略,按效率降序排列:

  1. 通过抓取接口进行完全抓取 - 过去很常见,但由于其造成的流量,现在在大型跟踪器上不太常见
  2. 通过自定义导出 URL 进行完整抓取 - 您必须询问跟踪器管理员。有时会记录在他们的网站上
  3. UDP多重抓取
  4. HTTP 多重抓取通过/scrape?info_hash=A&info_hash=B&info_hash=C- 有些跟踪器支持,有些不支持。
  5. http 单次抓取
  6. 双氢睾酮刮擦
  7. 加入群体并通过PEX进行测量

  • 它们位于列表末尾是有原因的。只是为了完整性。它们不太可能对您的情况有用。但我添加了链接。 (2认同)