Java 如何分析~13GB的数据？

我有大约300个文本文件，其中包含有关跟踪器、种子和对等点的数据。每个文件的组织方式如下：

Trie<String, Trie<String, Object>> peers = new Trie<String, Trie<String, Object>>(...);
for (String line : file) {
    if (containsTorrent(line)) {
        infohash = getInfohash(line);
    }
    else if (containsPeer(line)) {
        Trie<String, Object> torrents = peers.get(getPeer(line));
        torrents.put(infohash, null);
    }
}

tracker.txt

time torrent
    time peer
    time peer
    ...
time torrent
...

我每个跟踪器有几个文件，而且大部分信息都是重复的（相同的信息，不同的时间）

我希望能够分析我所拥有的东西，并报告类似的统计数据

• 每个跟踪器上有多少个激流
• torrents上列出了多少个跟踪器
• torrents有多少个节点
• 有多少洪流到同龄人

纯粹的数据量让我很难理解这一点。这是我试过的

MySQL

我把所有的东西都放进数据库；每个实体类型一个表，以及用于保存关系的表（例如，此torrent位于此跟踪器上）

将信息添加到数据库的速度很慢（我尝试此操作时没有13GB的数据），但事后分析关系是不可能的。每个稍微复杂的查询都需要24小时才能完成（如果有的话）

查询示例如下：

SELECT COUNT(DISTINCT torrent) 
    FROM TorrentAtPeer, Peer 
    WHERE TorrentAtPeer.peer = Peer.id 
    GROUP BY Peer.ip;

我试图增加我的

my.cnf

文件中的内存分配，但似乎没有帮助。我使用了

my-innodb-heavy-4G.cnf

settings文件

编辑：添加表详细信息

以下是我使用的：

Peer         Torrent                  Tracker        
-----------  -----------------------  ------------------  
id (bigint)  id (bigint)              id (bigint)
ip* (int)    infohash* (varchar(40))  url (varchar(255))
port (int)

TorrentAtPeer      TorrentAtTracker
-----------------  ----------------
id (bigint)        id (bigint)
torrent* (bigint)  torrent* (bigint)
peer* (bigint)     tracker* (bigint)
time (int)         time (int)

*indexed field. Navicat reports them as being of normal type and Btree method.
id - Always the primary key

没有外键。我相信自己能够只使用与现有实体对应的ID，添加外键检查似乎是一个不必要的延迟。这是天真的吗

Matlab

这看起来像是一个为繁重工作而设计的应用程序，但我无法分配足够的内存来一次性保存所有数据

我没有数字数据，所以我使用了细胞阵列，我从这些移动到尝试，以努力减少足迹。我无法让它工作

Java

我迄今为止最成功的尝试。我发现了一个由Limewire的人提供的Patricia Trys的实现。使用此功能，我能够读取数据并计算出我拥有多少独特的实体：

• 13个跟踪器
• 170万英里急流
• 3200万同级

我仍然觉得很难计算出同龄人中激流的频率。我正试图通过构建这样的尝试来实现这一点：

Trie<String, Trie<String, Object>> peers = new Trie<String, Trie<String, Object>>(...);
for (String line : file) {
    if (containsTorrent(line)) {
        infohash = getInfohash(line);
    }
    else if (containsPeer(line)) {
        Trie<String, Object> torrents = peers.get(getPeer(line));
        torrents.put(infohash, null);
    }
}

在我看来，这是不对的，用户和系统应该这么低吗？我应该提到的是，我还将JVM的堆大小增加到了7GB（最大值和开始值），如果不这样做，我很快就会出现内存不足错误

我不介意等上几个小时/天，但这件事似乎在大约10小时后就停止了

---

我想我的问题是，我该如何分析这些数据？我试过的东西对吗？有什么东西我错过了吗？Java解决方案似乎是目前为止最好的，我能做些什么来让它工作吗？

您说您的MySQL查询花费了太长时间。您是否确保有适当的索引来支持您提交的请求？在您的示例中，这将是

Peer.ip

（甚至是嵌套索引

（Peer.ip，Peer.id）

）的索引和

TorrentAtPeer.Peer

的索引

---

据我所知，Java结果有很多数据，但没有那么多不同的字符串。因此，您可以通过为每个跟踪器、torrent和peer分配一个唯一的编号来节省一些时间。每个表使用一个表，一些索引值包含字符串和一个数字主键作为id。这样，所有与这些实体相关的表都只需要处理这些数字，这可以节省大量空间并使您的操作更快。

我将尝试MySQL，但使用不同的模式：

• 不要在此处使用id列
• 在此处使用自然主键：
  
  对等：ip，端口
  Torrent：infohash
  跟踪器：url
  TorrentPeer：对等ip、TorrentInfoHash、对等端口、时间
  TorrentTracker：跟踪器url、torrent\u信息哈希、时间
  

• 对所有表使用innoDB引擎

这有几个优点：

• InnoDB对主键使用聚集索引。这意味着，当您仅从主键列请求数据时，可以直接从索引检索所有数据，而无需额外查找。所以InnoDB表在某种程度上是索引组织的表
• 更小的尺寸，因为您不必存储代理密钥。->速度，因为更少的IO可以获得相同的结果
• 您现在可以不使用（昂贵的）联接来执行某些查询，因为您使用的是自然主键和外键。例如，链接表

  TorrentAtPeer

  直接包含

  对等ip

  ，作为对等表的外键。如果您需要查询子网中的对等方使用的torrents，您现在可以不使用联接来进行查询，因为所有相关数据都在链接表中

如果您想要每个对等点的torrent计数，并且您想要在结果中包含对等点的ip，那么在这里使用自然主键/外键时，我们同样具有优势

使用您的模式，您必须加入以检索ip：

SELECT Peer.ip, COUNT(DISTINCT torrent) 
    FROM TorrentAtPeer, Peer 
    WHERE TorrentAtPeer.peer = Peer.id 
    GROUP BY Peer.ip;

使用自然主键/外键：

SELECT peer_ip, COUNT(DISTINCT torrent) 
    FROM TorrentAtPeer 
    GROUP BY peer_ip;

编辑

---

原来发布的模式不是真实的。现在，

Peer

表有一个

port

字段。我建议在这里使用主键（ip、端口），但仍然删除id列。这也意味着链接表需要有多列外键。调整答案…

如果你可以使用C++，你应该看看.< 使用flyweight，您可以像编写字符串一样编写代码，但字符串的每个实例（跟踪器名称等）仅使用指针的大小

---

无论使用哪种语言，您都应该将IP地址转换为int（请看一看），以节省更多内存。

您很可能会遇到这样的问题