Perl 替换最后一列中的第四列，同时从第三列中拾取唯一值

我有两个文件，它们都由管道分隔

第一个文件： has可能大约有10列，但我对前两列感兴趣，这两列将有助于更新第二个文件的列值

第一个文件详细信息：

1|alpha|s3.3|4|6|7|8|9

2|beta|s3.3|4|6|7|8|9

20|charlie|s3.3|4|6|7|8|9

6|romeo|s3.3|4|6|7|8|9

第二个文件详细信息：

a1|a2|**bob**|a3|a4|a5|a6|a7|a8|**1**|a10|a11|a12

a1|a2|**ray**|a3|a4|a5|a6|a7|a8||a10|a11|a12

a1|a2|**kate**|a3|a4|a5|a6|a7|a8|**20**|a10|a11|a12

a1|a2|**bob**|a3|a4|a5|a6|a7|a8|**6**|a10|a11|a12

a1|a2|**bob**|a3|a4|a5|a6|a7|a8|**45**|a10|a11|a12

我的要求是从第3列中找到唯一的值，并替换最后一列中的第4列。5月/5月的第4列可能没有数字。这个数字也会出现在第一个文件的第一个字段中。我需要用第一个文件第二列中出现的相应值替换（第二个文件）这个数字

预期产出：

唯一字符串：ray kate bob

我可以使用下面的命令选择唯一的字符串

awk-F'|'{a[$3]+}END{for（a中的i）{print i}}'文件名

我不想读取第二个文件两次，第一次选择唯一的字符串，第二次替换最后一个文件的第四列，因为文件大小很大。它大约有500mb，并且有很多这样的文件

目前，我正在使用

perl（Text:：CSV）

模块读取第一个文件（该文件的大小较小），并将前两列加载到一个散列中，其中第一列作为键，第二列作为值。然后读取第二个文件并用哈希值替换n-4列。但这似乎很耗时，因为Text:：CSV解析似乎很慢

任何牢记速度的awk/perl解决方案都会非常有用：）

注意：忽略文本周围的**星号，它们只是为了突出显示它们不是数据的一部分

更新：代码

#!/usr/bin/perl
use strict;
use warnings;
use Scalar::Utils;
use Text::CSV;
my %hash;
my $csv = Text::CSV->new({ sep_char => '|' });

my $file = $ARGV[0] or die "Need to get CSV file on the command line\n";

open(my $data, '<', $file) or die "Could not open '$file' $!\n";
while (my $line = <$data>) {
    chomp $line;

    if ($csv->parse($line)) {

        my @fields = $csv->fields();
        $hash{$field[0]}=$field[1];

    } else {
        warn "Line could not be parsed: $line\n";
    }
}
close($data);

my $csv = Text::CSV->new({ sep_char => '|' , blank_is_undef => 1 , eol => "\n"});
my $file2 = $ARGV[1] or die "Need to get CSV file on the command line\n";

open ( my $fh,'>','/tmp/outputfile') or die "Could not open file $!\n";
open(my $data2, '<', $file2) or die "Could not open '$file' $!\n";
while (my $line = <$data2>) {
    chomp $line;

    if ($csv->parse($line)) {

        my @fields = $csv->fields();
        if (defined ($field[-4]) && looks_like_number($field[-4]))
        {
            $field[-4]=$hash{$field[-4]};
        }

        $csv->print($fh,\@fields); 
    } else {
        warn "Line could not be parsed: $line\n";
    }
}
close($data2);
close($fh);

#/usr/bin/perl
严格使用；
使用警告；
使用标量：：Utils；
使用Text：：CSV；
我的%hash；
我的$csv=Text:：csv->new（{sep_char=>'|'}）；
my$file=$ARGV[0]或die“需要在命令行上获取CSV文件\n”；
打开（my$data，，'/tmp/outputfile'）或死亡“无法打开文件$！\n”；
打开（my$data2），使用
getline
而不是
parse
，速度要快得多。以下是执行此任务的更惯用方法。请注意，您可以对多个文件重复使用相同的
Text:：CSV
对象

#!/usr/bin/perl

use strict;
use warnings;
use 5.010;

use Text::CSV;

my $csv = Text::CSV->new({
    auto_diag      => 1,
    binary         => 1,
    blank_is_undef => 1,
    eol            => $/,
    sep_char       => '|'
}) or die "Can't use CSV: " . Text::CSV->error_diag;

open my $map_fh, '<', 'map.csv' or die "map.csv: $!";

my %mapping;
while (my $row = $csv->getline($map_fh)) {
    $mapping{ $row->[0] } = $row->[1];
}

close $map_fh;

open my $in_fh, '<', 'input.csv' or die "input.csv: $!";
open my $out_fh, '>', 'output.csv' or die "output.csv: $!";

my %seen;
while (my $row = $csv->getline($in_fh)) {
    $seen{ $row->[2] } = 1;

    my $key = $row->[-4];
    $row->[-4] = $mapping{$key} if defined $key and exists $mapping{$key};
    $csv->print($out_fh, $row);
}

close $in_fh;
close $out_fh;

say join ',', keys %seen;

input.csv

output.csv

STDOUT

这里有一个选项不使用
Text:：CSV
：

use strict;
use warnings;

@ARGV == 3 or die 'Usage: perl firstFile secondFile outFile';

my ( %hash, %seen );
local $" = '|';

while (<>) {
    my ( $key, $val ) = split /\|/, $_, 3;
    $hash{$key} = $val;
    last if eof;
}

open my $outFH, '>', pop or die $!;

while (<>) {
    my @F = split /\|/;
    $seen{ $F[2] } = undef;
    $F[-4] = $hash{ $F[-4] } if exists $hash{ $F[-4] };
    print $outFH "@F";
}

close $outFH;

print 'unique string : ', join( ' ', reverse sort keys %seen ), "\n";

标准：

unique string : ray kate bob

希望这有帮助！
这个
awk
应该可以工作

$ awk '
BEGIN { FS = OFS = "|" }
NR==FNR { a[$1] = $2; next }
{ !unique[$3]++ }
{ $(NF-3) = (a[$(NF-3)]) ? a[$(NF-3)] : $(NF-3) }1
END {
    for(n in unique) print n > "unique.txt"
}' file1 file2 > output.txt

说明：

我们将输入和输出字段分隔符设置为
|
我们遍历第一个文件，创建一个数组，将列1存储为键，并将列2指定为值
第一个文件加载到内存后，我们通过读取第二个文件创建另一个数组。该数组存储第二个文件第三列中的唯一值
在读取文件时，我们查看从最后一个到第一个文件的数组中出现的第四个值。如果是，我们将其替换为数组中的值。如果不是，则保留现有值
在
END
块中，我们遍历我们的unique数组，并将其打印到名为unique.txt的文件中。该文件保存第二个文件第三列中看到的所有唯一条目
第二个文件的整个输出被重定向到output.txt，该文件现在有修改后的第四列



Re.“Text:：CSV解析似乎很慢。”你确定问题出在Text:：CSV上，而不是你的代码上吗？（你没有显示，所以我说不出来）另外，如果Text:：CSV确实是瓶颈，安装应该会提高性能。如果安装了Text:：CSV_XS，
use Text:：CSV；
将自动使用XS版本。@ThisSuitesBlack没有使用
Text:：CSV
更新我的perl代码如果将
auto_diag
选项设置为
new
方法，则会出现错误如果一行无法用
getline
解析，将自动显示，这样您就不必添加一堆
或死…
语句：
my$csv=Text:：csv->new（{sep_char=>'|'，auto_diag=>1}）；
我创建了一个粗略的基准，使用
getline
比
parse
要快得多。谢谢，我能够得到想要的结果，但说到速度，使用传统的拆分方法似乎更快。使用Text:：CSV模块速度较慢，尽管它对CSV文件有更大的控制。@chidori
split
将更快，但如果字段可能包含分隔符（现在或将来某个时候），
Text:：CSV
是一个不错的选择。谢谢，这很好，但如果我将perl抱怨的所有$symbol都反斜杠，我需要将其放入perl代码中。你能帮我将其放入perl代码中吗code@chidori我不会在
perl
内部使用
awk
，
perl
功能强大，可以非常有效地完成所有这一切另一个解决方案。谢谢，它确实有帮助。
a1|a2|bob|a3|a4|a5|a6|a7|a8|alpha|a10|a11|a12
a1|a2|ray|a3|a4|a5|a6|a7|a8||a10|a11|a12
a1|a2|kate|a3|a4|a5|a6|a7|a8|charlie|a10|a11|a12
a1|a2|bob|a3|a4|a5|a6|a7|a8|romeo|a10|a11|a12
a1|a2|bob|a3|a4|a5|a6|a7|a8|45|a10|a11|a12

kate,bob,ray

use strict;
use warnings;

@ARGV == 3 or die 'Usage: perl firstFile secondFile outFile';

my ( %hash, %seen );
local $" = '|';

while (<>) {
    my ( $key, $val ) = split /\|/, $_, 3;
    $hash{$key} = $val;
    last if eof;
}

open my $outFH, '>', pop or die $!;

while (<>) {
    my @F = split /\|/;
    $seen{ $F[2] } = undef;
    $F[-4] = $hash{ $F[-4] } if exists $hash{ $F[-4] };
    print $outFH "@F";
}

close $outFH;

print 'unique string : ', join( ' ', reverse sort keys %seen ), "\n";

a1|a2|bob|a3|a4|a5|a6|a7|a8|alpha|a10|a11|a12
a1|a2|ray|a3|a4|a5|a6|a7|a8||a10|a11|a12
a1|a2|kate|a3|a4|a5|a6|a7|a8|charlie|a10|a11|a12
a1|a2|bob|a3|a4|a5|a6|a7|a8|romeo|a10|a11|a12
a1|a2|bob|a3|a4|a5|a6|a7|a8|45|a10|a11|a12

unique string : ray kate bob

$ awk '
BEGIN { FS = OFS = "|" }
NR==FNR { a[$1] = $2; next }
{ !unique[$3]++ }
{ $(NF-3) = (a[$(NF-3)]) ? a[$(NF-3)] : $(NF-3) }1
END {
    for(n in unique) print n > "unique.txt"
}' file1 file2 > output.txt

$ cat output.txt
a1|a2|bob|a3|a4|a5|a6|a7|a8|alpha|a10|a11|a12
a1|a2|ray|a3|a4|a5|a6|a7|a8||a10|a11|a12
a1|a2|kate|a3|a4|a5|a6|a7|a8|charlie|a10|a11|a12
a1|a2|bob|a3|a4|a5|a6|a7|a8|romeo|a10|a11|a12
a1|a2|bob|a3|a4|a5|a6|a7|a8|45|a10|a11|a12

$ cat unique.txt
kate
bob
ray