awk vs nawk vs mawk处理繁重文件_Awk

awk vs nawk vs mawk处理繁重文件

awk

awk vs nawk vs mawk处理繁重文件,awk,Awk,我正在处理一些非常大的文件，这些文件使macbook pro变得很流行。我在考虑使用更快的awk实现。我听说awk要快得多。我可以安装mawk，将awk语法更改为mawk并使用它吗？这会加快处理速度吗？首先，如果可以的话，设置LC_ALL=C，看看这是否能提供足够的提升： $ LC_ALL=C awk 'foo' mawk相当快，但我发现它不一定像预期的那样运行awk脚本——我总是需要再次检查它是否做了正确的事情在我看来，gawk在过去几年里似乎提高了它的速度——ymmv。mawk 1.

我正在处理一些非常大的文件，这些文件使macbook pro变得很流行。我在考虑使用更快的awk实现。

我听说awk要快得多。我可以安装mawk，将awk语法更改为mawk并使用它吗？这会加快处理速度吗？

首先，如果可以的话，设置LC_ALL=C，看看这是否能提供足够的提升：

$ LC_ALL=C awk 'foo'

mawk相当快，但我发现它不一定像预期的那样运行awk脚本——我总是需要再次检查它是否做了正确的事情

在我看来，gawk在过去几年里似乎提高了它的速度——ymmv。mawk 1.9.9.6（mawk-2测试版）是迄今为止速度最快的

我使用URI quote plus编码的速度甚至比python3中的内置模块都快。现在，我的2018 Mac花了13.9秒来遍历1230万行1.82GB大小的文本文件，并精确计算出每个字节

另外，每一个UTF-8代码点，都有12亿个

尽管它自己并不了解Unicode

即使是Unicode感知模式下的gnu awk或macOS内置的wc-lm也没有那么快。

如果您的脚本与

mawk

兼容，那么这可能会有所帮助，是的。你可以试试看。