Grep 翻阅巨大的文件

Grep 翻阅巨大的文件,grep,Grep,我想使用grep根据每行一个元素中的元素列表过滤文件B。我的目标是保留列表A中出现的B行。两个文件都是有序的 我用的是这样的东西: grep -f A B 问题是文件B有几百万行长,而文件A包含超过一百万个元素 这是最快的方式还是有更有效的选择 谢谢如果您搜索的是字符串而不是正则表达式,那么fgrep或grep-F会更快。如果这两个文件都有整行,而且它们是有序的,那么在它们上运行comm或diff可能会更好。必须是grep吗?将您的内容分为grep和非grep字符串可能是值得的。字符串搜索至少

我想使用grep根据每行一个元素中的元素列表过滤文件B。我的目标是保留列表A中出现的B行。两个文件都是有序的

我用的是这样的东西:

grep -f A B
问题是文件B有几百万行长,而文件A包含超过一百万个元素

这是最快的方式还是有更有效的选择


谢谢

如果您搜索的是字符串而不是正则表达式,那么fgrep或grep-F会更快。如果这两个文件都有整行,而且它们是有序的,那么在它们上运行comm或diff可能会更好。

必须是grep吗?将您的内容分为grep和非grep字符串可能是值得的。字符串搜索至少在用C完成时要快x15左右。您好,谢谢您的回复。我没有C-grep的经验,这是我们在生物信息学理学硕士课程上所说的……那么,你有没有尝试过运行这个?它可能已经足够快了,如果它很慢,那么我会问你有多少字符串需要grep信息,有多少只是裸字符串搜索?不,我还没有尝试过。我正在集群上运行我的分析,我有点担心系统过载。但是你刚才说的很让人放心,所以我会试试,明天再给你回复。谢谢