Linux/Bash中的随机换行
我在linux中有一些文件。例如,2和我需要在一个文件中洗牌文件 比如说Linux/Bash中的随机换行,linux,bash,shell,sh,Linux,Bash,Shell,Sh,我在linux中有一些文件。例如,2和我需要在一个文件中洗牌文件 比如说 $cat file1 line 1 line 2 line 3 line 4 line 5 line 6 line 7 line 8 及 之后,我将这两个文件混洗,可以得到如下结果: linea eight line 4 linea five line 1 linea three line 8 linea seven line 5 linea two linea one line 2 linea four line 7
$cat file1
line 1
line 2
line 3
line 4
line 5
line 6
line 7
line 8
及
之后,我将这两个文件混洗,可以得到如下结果:
linea eight
line 4
linea five
line 1
linea three
line 8
linea seven
line 5
linea two
linea one
line 2
linea four
line 7
linea six
line 1
line 6
您应该使用
shuf
command=)
或者使用Perl:
cat file1 file2 | perl -MList::Util=shuffle -wne 'print shuffle <>;'
cat file1 file2 | perl-MList::Util=shuffle-wne'print shuffle;'
我也会使用shuf
另一个选项,gnu排序有:
-R, --random-sort
sort by random hash of keys
你可以试试:
cat file1 file2|sort -R
排序:(类似的行将放在一起)
舒夫:
Perl:
Awk:
对于使用MacPorts的OSX用户,请注意:
shuf
命令是coreutils
的一部分,安装在名称gshuf
下
$ sudo port install coreutils
$ gshuf example.txt # or cat example.txt | gshuf
这对我有用。它采用费舍尔·耶茨洗牌法
randomize()
{
arguments=("$@")
declare -a out
i="$#"
j="0"
while [[ $i -ge "0" ]] ; do
which=$(random_range "0" "$i")
out[j]=${arguments[$which]}
arguments[!which]=${arguments[i]}
(( i-- ))
(( j++ ))
done
echo ${out[*]}
}
random_range()
{
low=$1
range=$(($2 - $1))
if [[ range -ne 0 ]]; then
echo $(($low+$RANDOM % $range))
else
echo "$1"
fi
}
这里有一个单行程序,它不依赖于我在mac上没有的
shuf
或sort-R
:
while read line; do echo $RANDOM $line; done < my_file | sort -n | cut -f2- -d' '
读行时;做回显$随机$行;完成
这将迭代
my_文件中的所有行,并以随机顺序重新打印它们。此处不需要使用管道。Sort ONLY将文件作为参数执行此操作。我会的
sort -R file1
或者如果你有多个文件
sort -R file1 file2
这显然是有偏见的rand(比如列表有一半的时间是从第一行开始的),但是对于一些基本的随机化,仅仅是bash内置,我想这是好的?只需打印每行是/否,然后打印其余的
shuffle() {
local IFS=$'\n' tail=
while read l; do
if [ $((RANDOM%2)) = 1 ]; then
echo "$l"
else
tail="${tail}\n${l}"
fi
done < $1
printf "${tail}\n"
}
shuffle(){
本地IFS=$'\n'尾=
当我读的时候;做
如果[$((随机%2))=1];则
回音“$l”
其他的
tail=“${tail}\n${l}”
fi
已完成<$1
printf“${tail}\n”
}
小心使用sort-R
方法:相似的行将放在一起(例如,使用同一个文件两次,您会感到惊讶)。@gniourf_gniourf thx指出了这一点。是的,它来自散列。请不要使用sort-R
进行此任务,除非您确定所有行都是不同的(请参阅我的评论了解Kent的答案)。@gniourf\u gniourf当然-它们按散列键排序-同一行=同一散列键…您好。很高兴知道如何改进答案。shuf
表现最好,其次是perl
解决方案;awk
解决方案虽然速度明显较慢,但具有与POSIX兼容的优势<如前所述,code>sort-R
,不是真正的随机洗牌,而且对于大输入也相当慢。到目前为止,使用bash
循环是最慢的,这里也受到了限制,因为最多只能生成32768个随机值。有关更详细的性能比较,请参阅。@gniourf_gniourf sosort-Ru
x)非MacPorts的可能重复:brew安装coreutils
c'mon太简单了,直接响应OP启动。需要让事情变得更难。请注意:在bash算术扩展中不需要使用$
。
cat file1 file2 | awk 'BEGIN{srand()}{printf "%06d %s\n", rand()*1000000, $0;}' | sort -n | cut -c8-
$ sudo port install coreutils
$ gshuf example.txt # or cat example.txt | gshuf
randomize()
{
arguments=("$@")
declare -a out
i="$#"
j="0"
while [[ $i -ge "0" ]] ; do
which=$(random_range "0" "$i")
out[j]=${arguments[$which]}
arguments[!which]=${arguments[i]}
(( i-- ))
(( j++ ))
done
echo ${out[*]}
}
random_range()
{
low=$1
range=$(($2 - $1))
if [[ range -ne 0 ]]; then
echo $(($low+$RANDOM % $range))
else
echo "$1"
fi
}
while read line; do echo $RANDOM $line; done < my_file | sort -n | cut -f2- -d' '
sort -R file1
sort -R file1 file2
shuffle() {
local IFS=$'\n' tail=
while read l; do
if [ $((RANDOM%2)) = 1 ]; then
echo "$l"
else
tail="${tail}\n${l}"
fi
done < $1
printf "${tail}\n"
}