如何分析~13GB的数据？

Question

我有大约300个文本文件,其中包含跟踪器,种子和同伴的数据.每个文件的组织方式如下:

tracker.txt

time torrent
    time peer
    time peer
    ...
time torrent
...

我有每个跟踪器的几个文件,并且重复了大部分信息(相同的信息,不同的时间).

我希望能够分析我所拥有的内容,并报告有关事情的统计数据

• 每个跟踪器有多少种子
• 列出的种子有多少跟踪器
• 洪流有多少同行
• 对同龄人有多少种洪流

数据的庞大数量使我难以接受.这是我尝试过的.

MySQL的

我把所有东西都放进了数据库; 每个实体类型一个表和用于保存关系的表(例如,此torrent位于此跟踪器上).

将信息添加到数据库的速度很慢(当我尝试这个时,我没有13GB的信息),但之后分析这些关系是不行的.每个稍微复杂的查询都需要24小时才能完成(如果有的话).

一个示例查询将是:

SELECT COUNT(DISTINCT torrent) 
    FROM TorrentAtPeer, Peer 
    WHERE TorrentAtPeer.peer = Peer.id 
    GROUP BY Peer.ip;

我尝试在我的my.cnf文件中增加内存分配,但似乎没有帮助.我使用了my-innodb-heavy-4G.cnf设置文件.

编辑:添加表格详细信息

这是我正在使用的:

Peer         Torrent                  Tracker        
-----------  -----------------------  ------------------  
id (bigint)  id (bigint)              id (bigint)
ip* (int)    infohash* (varchar(40))  url (varchar(255))
port (int)

TorrentAtPeer      TorrentAtTracker
-----------------  ----------------
id (bigint)        id (bigint)
torrent* (bigint)  torrent* (bigint)
peer* (bigint)     tracker* (bigint)
time (int)         time (int)

*indexed field. Navicat reports them as being of normal type and Btree method.
id - Always the primary key

没有外键.我有信心只能使用与现有实体相对应的ID,添加外键检查似乎是一种不必要的延迟.这个天真吗？

MATLAB

这似乎是一个专为一些繁重的工作而设计的应用程序,但我无法分配足够的内存来一次性保存所有数据.

我没有数字数据所以我使用的是单元格数组,我从这些数据移动到尝试以减少占用空间.我无法让它发挥作用.

Java的

到目前为止我最成功的尝试.我发现Limewire的人们提供了Patricia Tries的实现.使用这个我能够读取数据并计算我有多少独特的实体:

• 13个跟踪器
• 170万个种子
• 32个同龄人

我仍然觉得很难弄清楚同龄人的种子数量.我试图通过构建这样的尝试来做到这一点:

Trie<String, Trie<String, Object>> peers = new Trie<String, Trie<String, Object>>(...);
for (String line : file) {
    if (containsTorrent(line)) {
        infohash = getInfohash(line);
    }
    else if (containsPeer(line)) {
        Trie<String, Object> torrents = peers.get(getPeer(line));
        torrents.put(infohash, null);
    }
}

从我迄今为止所能做到的,如果我能够peers建立这个特里,那么我可以很容易地找出每个同伴有多少种子.昨天我把它全部运行了,当我回来时,我注意到日志文件没有被写入,我^Z的应用程序并time报告了以下内容:

real 565m41.479s
user 0m0.001s
sys  0m0.019s

如果用户和系统如此之低,这对我来说并不合适？我应该提一下,我还将JVM的堆大小增加到7GB(最大值和启动量),没有这样我很快就会出现内存不足错误.

我不介意等待几个小时/天,但看起来这件事在大约10个小时后就停止了.

我想我的问题是,如何分析这些数据呢？我尝试过的东西是正确的吗？有什么我想念的吗？到目前为止,Java解决方案似乎是最好的,有什么办法可以让它工作吗？

Answer 1

您声明您的MySQL查询花了太长时间.您是否确保有适当的索引来支持您提交的请求？在您的示例中,这将是Peer.ip(甚至是嵌套索引(Peer.ip,Peer.id))的索引和索引TorrentAtPeer.peer.

据我了解Java结果,你有很多数据,但没有那么多不同的字符串.所以你可以通过为每个跟踪器,torrent和peer分配一个唯一的号码来节省一些时间.每个表使用一个表,其中一些索引值保存字符串,数字主键作为id.这样,与这些实体相关的所有表格只需要处理这些数字,这可以节省大量空间并使您的操作更快.

Answer 2

我会给MySQL另一个尝试,但使用不同的架构:

• 不要在这里使用id-columns

• 在这里使用自然主键:
  
  Peer:ip,port
  Torrent:infohash
  Tracker:url
  TorrentPeer:peer_ip,torrent_infohash,peer_port,time
  TorrentTracker:tracker_url,torrent_infohash,time
  

• 对所有表使用innoDB引擎

这有几个好处:

• InnoDB使用聚簇索引作为主键.意味着当您仅从主键列请求数据时,可以直接从索引检索所有数据而无需额外查找.所以InnoDB表是一些索引组织的表.
• 较小的尺寸,因为您不必存储代理键. - >速度,因为较小的IO为相同的结果.
• 您可以在不使用(昂贵)连接的情况下立即执行某些查询,因为您使用自然的主键和外键.例如,链接表TorrentAtPeer直接包含peer ip对等表的外键.如果您需要查询一个子网现在你可以做到这一点,而无需使用连接使用同行山洪,因为所有相关数据在链接表.

如果你想要每个对等体的种子数量,并且你想要结果中的对等体的ip,那么我们在这里使用自然的主/外键时再次具有优势.

使用您的架构,您必须加入以检索IP:

SELECT Peer.ip, COUNT(DISTINCT torrent) 
    FROM TorrentAtPeer, Peer 
    WHERE TorrentAtPeer.peer = Peer.id 
    GROUP BY Peer.ip;

使用自然主/外键:

SELECT peer_ip, COUNT(DISTINCT torrent) 
    FROM TorrentAtPeer 
    GROUP BY peer_ip;

编辑 嗯,原始发布的架构不是真正的.现在该Peer表有一个port字段.我建议在这里使用主键(ip,port)并仍然删除id列.这也意味着链接表需要具有多列外键.调整答案......