Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/bash/15.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Linux Shell脚本:将文件中的所有重复行融合为1_Linux_Bash_Shell_Text Processing - Fatal编程技术网

Linux Shell脚本:将文件中的所有重复行融合为1

Linux Shell脚本:将文件中的所有重复行融合为1,linux,bash,shell,text-processing,Linux,Bash,Shell,Text Processing,以下是带有重复行的示例文件: abs bsa bsc abs bsa bsb 以下是输出应为无重复的内容: abs bsa bsc bsb 我尝试了uniq-u命令,但它删除了重复的行,所以使用sed或awk会更好吗?有什么建议吗 谢谢 注:“uniq”不检测重复行,除非 相邻您可能需要对输入进行排序 首先,或者使用“sort-u”而不使用“uniq” 输出: abs bsa bsb bsc 使用提供关联数组(又称散列或集合)的编程语言。当您第一次遇到每一行时,将其存储到set/hash中

以下是带有重复行的示例文件:

abs
bsa
bsc
abs
bsa
bsb
以下是输出应为无重复的内容:

abs
bsa
bsc
bsb
我尝试了uniq-u命令,但它删除了重复的行,所以使用sed或awk会更好吗?有什么建议吗

谢谢

注:“uniq”不检测重复行,除非 相邻您可能需要对输入进行排序 首先,或者使用“sort-u”而不使用“uniq”

输出:

abs
bsa
bsb
bsc

使用提供关联数组(又称散列或集合)的编程语言。当您第一次遇到每一行时,将其存储到set/hash中。仅当该行以前不在数组中时才输出该行。您可以在bash搜索手册页中查找关联数组或awk,其中每个数组都是关联的,或者使用几乎任何其他语言zsh、Ruby、Perl等等。。。。。如果输入太大以至于内存不足,则可能会出现问题。
abs
bsa
bsb
bsc