Linux 连接多个文件

Linux 连接多个文件,linux,join,sed,Linux,Join,Sed,我使用标准的join命令根据column1连接两个已排序的文件。 该命令是simple join file1 file2>output\u file 但是如何使用相同的技术连接3个或更多文件? 连接文件1文件2文件3>输出文件 上面的命令给了我一个空文件。 我认为sed可以帮助我,但我不太确定如何做?将两个文件的行连接到一个公共字段上。如果你想加入更多,两人一组。先连接前两个文件,然后用第三个文件连接结果等。连接的man页面声明它只适用于两个文件。因此,您需要创建一个中间文件,然后将其删除,即:

我使用标准的join命令根据column1连接两个已排序的文件。 该命令是simple join file1 file2>output\u file

但是如何使用相同的技术连接3个或更多文件? 连接文件1文件2文件3>输出文件 上面的命令给了我一个空文件。
我认为sed可以帮助我,但我不太确定如何做?

将两个文件的行连接到一个公共字段上。如果你想加入更多,两人一组。先连接前两个文件,然后用第三个文件连接结果等。

连接的
man
页面声明它只适用于两个文件。因此,您需要创建一个中间文件,然后将其删除,即:

> join file1 file2 > temp
> join temp file3 > output
> rm temp
人工加入

NAME
       join - join lines of two files on a common field

SYNOPSIS
       join [OPTION]... FILE1 FILE2
它仅适用于两个文件

如果你需要加入三个,也许你可以先加入前两个,然后加入第三个

尝试:


应该连接三个文件,而不创建中间临时文件
-
告诉join命令从
stdin

读取第一个输入流通过递归构造
join
管道,可以连接多个文件(N>=2):

#!/bin/sh

# multijoin - join multiple files

join_rec() {
    if [ $# -eq 1 ]; then
        join - "$1"
    else
        f=$1; shift
        join - "$f" | join_rec "$@"
    fi
}

if [ $# -le 2 ]; then
    join "$@"
else
    f1=$1; f2=$2; shift 2
    join "$f1" "$f2" | join_rec "$@"
fi

我知道这是一个老问题,但供将来参考。 如果您知道要加入的文件具有与此处问题类似的模式,例如
file1 file2 file3。。。文件
然后,您可以使用此命令简单地将它们连接起来

cat file* > output

其中输出将是按字母顺序连接的一系列连接文件。

我为此创建了一个函数。第一个参数是输出文件,其余参数是要联接的文件

function multijoin() {
    out=$1
    shift 1
    cat $1 | awk '{print $1}' > $out
    for f in $*; do join $out $f > tmp; mv tmp $out; done
}
用法:

multijoin output_file file*

虽然有点老问题,但这是如何使用单个
awk

awk -v j=<field_number> '{key=$j; $j=""}  # get key and delete field j
                         (NR==FNR){order[FNR]=key;} # store the key-order
                         {entry[key]=entry[key] OFS $0 } # update key-entry
                         END { for(i=1;i<=FNR;++i) {
                                  key=order[i]; print key entry[key] # print
                               }
                         }' file1 ... filen
awk-vj='{key=$j;$j=”“}#获取key并删除字段j
(NR==FNR){order[FNR]=key;}#存储密钥顺序
{entry[key]=s$0的entry[key]

结束{for(i=1;i假设您有四个文件A.txt、B.txt、C.txt和D.txt,如下所示:

~$ cat A.txt
x1 2
x2 3
x4 5
x5 8

~$ cat B.txt
x1 5
x2 7
x3 4
x4 6

~$ cat C.txt
x2 1
x3 1
x4 1
x5 1

~$ cat D.txt
x1 1
将文件连接到:

firstOutput='0,1.2'; secondOutput='2.2'; myoutput="$firstOutput,$secondOutput"; outputCount=3; join -a 1 -a 2 -e 0 -o "$myoutput" A.txt B.txt > tmp.tmp; for f in C.txt D.txt; do firstOutput="$firstOutput,1.$outputCount"; myoutput="$firstOutput,$secondOutput"; join -a 1 -a 2 -e 0 -o "$myoutput" tmp.tmp $f > tempf; mv tempf tmp.tmp; outputCount=$(($outputCount+1)); done; mv tmp.tmp files_join.txt
结果:

~$ cat files_join.txt 
x1 2 5 0 1
x2 3 7 1 0
x3 0 4 1 0
x4 5 6 1 0
x5 8 0 1 0

或者
join@Kevin Sweet!不知道那一个!你是说
rm temp
?第二个join的连字符是什么意思?它是join的一个特殊符号吗?请参阅我的更新。
-
被许多unix程序理解为stdin/stdout的简写。这对于文本文件来说效果非常好。对于使用ng其他命令/软件包/软件。每个文件中可能都有一些标题,指示它是什么类型的文件,所以这是不够的,但您应该搜索其他so问题。我相信已经有人解决了这个问题。问题是将输入文件中的相应行连接在一起。而不是连接它们。绝对是我最喜欢的答案!但是,我将函数体替换为:
f1=$1;f2=$2;shift 2;if[$#-gt 0];然后;join“$f1”“$f2”| join_rec-“$@”else;join“$f1”“$f2”;fi
以消除对第二个
if
的需要。调用类似于
join_rec“$@”
@ack是否可以在输出中添加文件名作为标题?谢谢,这很有用。如果有人想添加标题,请使用-i'1i header_text'输出文件
~$ cat files_join.txt 
x1 2 5 0 1
x2 3 7 1 0
x3 0 4 1 0
x4 5 6 1 0
x5 8 0 1 0