在Perl中，如何在不耗尽内存的情况下将行合并到一个大的、未排序的文件中？
我有一个非常大的以列分隔的文件，它来自一个数据库报告，如下所示：在Perl中，如何在不耗尽内存的情况下将行合并到一个大的、未排序的文件中？,perl,memory,file,hash,Perl,Memory,File,Hash,我有一个非常大的以列分隔的文件，它来自一个数据库报告，如下所示： field1,field2,field3,metricA,value1 field1,field2,field3,metricB,value2 field1,field2,field3,value1,value2 我希望新文件具有如下组合行，以便它看起来像这样： field1,field2,field3,metricA,value1 field1,field2,field3,metricB,value2 field1,fie
field1,field2,field3,metricA,value1
field1,field2,field3,metricB,value2
field1,field2,field3,value1,value2
field1,field2,field3,metricA,value1
field1,field2,field3,metricB,value2
field1,field2,field3,value1,value2
为了完全公开，我在Windows上使用ActiveState Perl。将另一个直接从数据库导出到新文件中，而不是重新处理已经输出的文件，这不是更好吗。如果这是一个选项，那么我会走这条路。如果您的行按键排序，或者由于其他原因，字段1、字段2、字段3的相等值相邻，那么状态机将快得多。只要通读这些行，如果字段与前一行相同，则发出这两个值
否则，至少可以利用正好有两个值的事实，在找到第二个值时从哈希中删除键——这将大大限制内存使用。如果您有其他类似Unix的工具可用（例如通过cygwin）然后，您可以使用sort命令预先对文件进行排序（该命令可以处理大型文件）。或者，您可以让数据库输出排序后的格式
一旦文件被排序，进行这种合并就很容易了——一次迭代一行，将最后一行和下一行保留在内存中，并在键更改时输出 你可以用它试试。它让我想起了一种可以在程序逻辑中使用的大型机。我用它做的很好 如果您认为这些数据无法存储在内存中，您可以随时调整 将哈希值添加到磁盘数据库：
use BerkeleyDB;
tie my %data, 'BerkeleyDB::Hash', -Filename => 'data';
while(my $line = <>){
chomp $line;
my @columns = split /,/, $line; # or use Text::CSV_XS to parse this correctly
my $key = join ',', @columns[0..2];
my $a_key = "$key:metric_a";
my $b_key = "$key:metric_b";
if($columns[3] eq 'A'){
$data{$a_key} = $columns[4];
}
elsif($columns[3] eq 'B'){
$data{$b_key} = $columns[4];
}
if(exists $data{$a_key} && exists $data{$b_key}){
my ($a, $b) = map { $data{$_} } ($a_key, $b_key);
print "$key,$a,$b\n";
# optionally delete the data here, if you don't plan to reuse the database
}
}
使用BerkeleyDB；
绑定我的%data，'BerkeleyDB:：Hash'，-Filename=>data'；
while（我的$line=）{
chomp$行；
my@columns=split/，/，$line；#或使用Text:：csvxs正确解析此内容
我的$key=join'，'，@columns[0..2]；
my$a_key=“$key:metric_a”；
my$b_key=“$key:metric_b”；
如果（$columns[3]eq'A'）{
$data{$a_key}=$columns[4]；
}
elsif（$columns[3]等式'B'）{
$data{$b_key}=$columns[4]；
}
if（exists$data{$a_key}&&exists$data{$b_key}）{
my（$a，$b）=映射{$data{${}（$a_键，$b_键）；
打印“$key，$a，$b\n”；
#如果不打算重用数据库，可以选择在此处删除数据
}
}