Database 从1亿行字符串中搜索字符串
我有一个包含一些md5哈希的文本文件，其中有1亿行。我有另一个更小的文件，有几千个md5散列。我想找到这些md5散列的相应索引，从这个新的较小文件到旧的较大文件 最有效的方法是什么？有可能在15分钟左右完成吗Database 从1亿行字符串中搜索字符串,database,algorithm,Database,Algorithm,我有一个包含一些md5哈希的文本文件，其中有1亿行。我有另一个更小的文件，有几千个md5散列。我想找到这些md5散列的相应索引，从这个新的较小文件到旧的较大文件 最有效的方法是什么？有可能在15分钟左右完成吗 我试过很多东西，但都不管用。首先，我尝试将较大的数据导入数据库文件，并在md5哈希列上创建索引。创建此散列需要花费很长时间。我甚至不确定这是否会大大提高查询速度。建议？首先：100兆行/32字节=约3.2 GB的数据。在15分钟内读取它们可以转换为每秒3.5兆字节，这在现代硬件中应该很容易
我试过很多东西，但都不管用。首先，我尝试将较大的数据导入数据库文件，并在md5哈希列上创建索引。创建此散列需要花费很长时间。我甚至不确定这是否会大大提高查询速度。建议？首先：100兆行/32字节=约3.2 GB的数据。在15分钟内读取它们可以转换为每秒3.5兆字节，这在现代硬件中应该很容易实现 我建议不要使用数据库，而是使用包含一些简单步骤的过程：
初始排序可能很容易花费超过15分钟的时间，但查找速度应该相当快：如果您有足够的RAM（以及支持大于2GB进程的操作系统），您应该能够以至少一个数量级的速度获得比较速率 首先：100兆行×32字节=约3.2 GB的数据。在15分钟内读取它们可以转换为每秒3.5兆字节，这在现代硬件中应该很容易实现 我建议不要使用数据库，而是使用包含一些简单步骤的过程：
初始排序可能很容易花费超过15分钟的时间，但查找速度应该相当快：如果您有足够的RAM（以及支持大于2GB进程的操作系统），您应该能够以至少一个数量级的速度获得比较速率 不要在db中执行此操作-使用简单的程序。
使用这种方法，今天的硬件很容易获得15分钟的时间。不要在db中这样做-使用一个简单的程序。
使用这种方法，用今天的硬件很容易获得15分钟的时间。有专门为搜索大文件中的多个字符串而设计的算法。其中之一是拉宾·卡普。我有一本书 更简单地说，下面的伪代码应该可以让您很快到达目的地：
Load your few thousand strings in a set data structure
For each line (index: i) in your file
If that line appears in your set of values
print i
这将非常快：设置的数据结构几乎可以立即查找，因此IO将是罪魁祸首，1亿个哈希和将在15分钟内完成，不会有太大的困难。有专门为搜索大文件中的多个字符串而设计的算法。其中之一是拉宾·卡普。我有一本书 更简单地说，下面的伪代码应该可以让您很快到达目的地：
Load your few thousand strings in a set data structure
For each line (index: i) in your file
If that line appears in your set of values
print i