Shell uniq,如何不区分重音?

Shell uniq,如何不区分重音?,shell,uniq,Shell,Uniq,如何使shell“uniq”命令不区分重音 # more test a à b # LC_ALL=fr_FR.UTF-8 uniq test a à b 预期: # LC_ALL=fr_FR.UTF-8 uniq test a b 注意:以下情况不正常,因为它会更改输入数据: cat test | sed "s/à/a/" | uniq 这适用于您的简单示例: $ cat letters.txt a à b $ paste <(iconv -f utf8 -t ascii/

如何使shell“uniq”命令不区分重音

# more test
a
à
b


# LC_ALL=fr_FR.UTF-8  uniq test
a
à
b
预期:

# LC_ALL=fr_FR.UTF-8  uniq test
a
b
注意:以下情况不正常,因为它会更改输入数据:

 cat test | sed "s/à/a/" | uniq

这适用于您的简单示例:

$ cat letters.txt
a
à
b
$ paste <(iconv -f utf8 -t ascii//translit letters.txt) letters.txt | sort -s -k1,1 -u | cut -f2
a
b
$cat letters.txt
A.
à
B

$paste查找定义此类排序规则的区域设置。如果没有(我认为没有),请参阅和该答案中链接的问题,以了解有关创建自定义区域设置的详细信息。@JoJo它保留原始文本。