Linux Shell脚本:将文件中的所有重复行融合为1
以下是带有重复行的示例文件:Linux Shell脚本:将文件中的所有重复行融合为1,linux,bash,shell,text-processing,Linux,Bash,Shell,Text Processing,以下是带有重复行的示例文件: abs bsa bsc abs bsa bsb 以下是输出应为无重复的内容: abs bsa bsc bsb 我尝试了uniq-u命令,但它删除了重复的行,所以使用sed或awk会更好吗?有什么建议吗 谢谢 注:“uniq”不检测重复行,除非 相邻您可能需要对输入进行排序 首先,或者使用“sort-u”而不使用“uniq” 输出: abs bsa bsb bsc 使用提供关联数组(又称散列或集合)的编程语言。当您第一次遇到每一行时,将其存储到set/hash中
abs
bsa
bsc
abs
bsa
bsb
以下是输出应为无重复的内容:
abs
bsa
bsc
bsb
我尝试了uniq-u命令,但它删除了重复的行,所以使用sed或awk会更好吗?有什么建议吗
谢谢
注:“uniq”不检测重复行,除非
相邻您可能需要对输入进行排序
首先,或者使用“sort-u”而不使用“uniq”
输出:
abs
bsa
bsb
bsc
使用提供关联数组(又称散列或集合)的编程语言。当您第一次遇到每一行时,将其存储到set/hash中。仅当该行以前不在数组中时才输出该行。您可以在bash搜索手册页中查找关联数组或awk,其中每个数组都是关联的,或者使用几乎任何其他语言zsh、Ruby、Perl等等。。。。。如果输入太大以至于内存不足,则可能会出现问题。
abs
bsa
bsb
bsc