Regex 将不同的正则表达式可能性合并为一个正则表达式_Regex_Sed_Regex Group

Regex 将不同的正则表达式可能性合并为一个正则表达式

regex sed

Regex 将不同的正则表达式可能性合并为一个正则表达式,regex,sed,regex-group,Regex,Sed,Regex Group,是否可以将以下正则表达式转换为一个正则表达式 cat file.txt | \ sed 's/\tNULL\t/\t\\N\t/g' | \ sed 's/^NULL\t/\\N\t/g' | \ sed 's/\tNULL$/\t\\N/g' | \ sed 's/^NULL$/\\N/g'' 也许还有一件事需要补充，这是每月超过数十亿行，所以性能是一个考虑因素解决方案基准谢谢大家的建议，perl对我来说运行最快。如果你想知道： [/tmp]$ time cat /tmp/resul

是否可以将以下正则表达式转换为一个正则表达式

cat file.txt | \ 
sed 's/\tNULL\t/\t\\N\t/g' | \
sed 's/^NULL\t/\\N\t/g' | \
sed 's/\tNULL$/\t\\N/g' | \
sed 's/^NULL$/\\N/g''

也许还有一件事需要补充，这是每月超过数十亿行，所以性能是一个考虑因素

解决方案基准 谢谢大家的建议，

perl

对我来说运行最快。如果你想知道：

[/tmp]$ time cat /tmp/result_w_null.txt > /dev/null
real    0m0.045s
user    0m0.000s
sys     0m0.042s
[/tmp]$ time cat /tmp/result_w_null.txt | sed 's/\<NULL\>/\\N/g' > /dev/null
real    0m5.843s
user    0m2.472s
sys     0m3.852s
[/tmp]$ time cat /tmp/result_w_null.txt | sed 's/\tNULL\t/\t\\N\t/g' | sed 's/^NULL\t/\\N\t/g' | sed 's/\tNULL$/\t\\N/g' | sed 's/^NULL$/\\N/g' > /dev/null
real    0m7.078s
user    0m7.148s
sys     0m4.963s

#Suggestions:
[/tmp]$ time cat /tmp/result_w_null.txt | awk -F'\t' -v OFS='\t' '{for (i=1;i<=NF;i++) if ($i=="NULL") $i="\\N"}1' > /dev/null
real    0m20.196s
user    0m14.876s
sys     0m7.145s
[/tmp]$ time cat /tmp/result_w_null.txt | awk -v RS='(^|[\t\n])NULL(\tNULL)*([\t\n]|$)' '{ gsub(/NULL/, "\\N", RT); ORS=RT} 1' > /dev/null
real    0m10.611s
user    0m8.743s
sys     0m3.754s
[/tmp]$ time cat /tmp/result_w_null.txt | sed -E ':a; s/(\t|^)NULL(\t|$)/\1\\N\2/g; ta' > /dev/null
real    0m9.673s
user    0m5.723s
sys     0m5.678s
[/tmp]$ time cat /tmp/result_w_null.txt | perl -pe 's/(?:\t|^)\KNULL(?=\t|$)/\\N/g' > /dev/null
real    0m4.452s
user    0m3.237s
sys     0m2.288s

[/tmp]$time cat/tmp/result\w\u null.txt>/dev/null
实际0.045s
用户0.000s
系统0m0.042s
[/tmp]$time cat/tmp/result\u w\u null.txt | sed's/\/\\N/g'>/dev/null
实数0m5.843s
用户0m2.472s
系统0m3.852s
[/tmp]$time cat/tmp/result\u w_null.txt|sed's/\tNULL\t/\t\\N\t/g'| sed's/^null\t/\\N\t/g'| sed's/\tNULL$/\t\\N/g'| sed's/^null$/\\N/g'>/dev/null
实际0m7.078s
用户0m7.148s
系统0m4.963s
#建议：
[/tmp]$time cat/tmp/result_w_null.txt | awk-F'\t'-v OFS='\t'{for（i=1；i您可以使用
sed-E的/（\t| ^）NULL（\t|$）/\1\\N\2/g；'

如果有连续的比赛
sed-E'：a；s/（\t| ^）NULL（\t|$）/\1\\N\2/g；ta'

看一看
POSIX ERE正则表达式匹配

（\t|^）
-捕获组1（替换模式中的\1
）：字符串的选项卡或开头
NULL
-文本字符串
（\t |$）
-捕获组2（替换模式中的\2
）：一个选项卡或字符串的结尾

对于连续匹配，您需要在循环中进行匹配，方法是设置一个标签（：a
），然后使用ta
分支到该标签。这是一种解决缺乏前瞻性支持的问题的方法，该支持允许在不使用尾随选项卡的情况下检查尾随选项卡。在Perl中，您可以使用
perl-pe的/（？：\t | ^）\KNULL（？=\t |$）/\\N/g

在哪里

（？：\t |^）
-与选项卡或字符串开头匹配的非捕获组
\K
-匹配重置运算符，该运算符将丢弃迄今为止匹配的所有文本
NULL
-文本字符串
（？=\t |$）
-一种正向前瞻，要求在当前位置的右侧立即有一个制表符或字符串结尾
awk
对于这种用法可能更容易理解：
awk'
开始{FS=OFS=“\t”}
{
对于（i=1；i，这里有一个替代gnu awk解决方案：
cat文件
abc空foo
空条
xyz空值
pqr-mnop
无效的

将gnu awk
与自定义RS
一起使用：
awk-vrs='（^ |[\t\n]）空（\t空）*（[\t\n]|$）“”{
gsub（/NULL/，“\\N”，RT）；ORS=RT}1'文件
abc\N foo
\酒吧
xyz\N
pqr-mnop
\N
/（？：^\t）空（？：$\t）/
可能会这样做。\t\\N\t/g
的目的是什么？这是特定于某些编程语言的吗？\t
-tab.\\N
-以不同的格式为某些数据加载工具表示null
。我将其保持为不超出范围的简单基本内容。对，您可以使用的/（\t^）null（\t |$）/\1\\N\2/g'
-但是如果您使用的是sed
，并且您有连续的匹配项，比如NULL
，您需要在循环中运行它。您担心超出范围，所以您会问一个没有范围的问题。s/
和/\t\\N\t/g
确实令人困惑，因为正则表达式的开头和结尾都是向前的传统上，如果你在中间使用斜杠，那么它应该像“代码＞\/< /CODE”一样逃脱。修改器如<代码> /GMI 结束，所以除非你详细说明这个工具是什么，否则你可能不会得到相关的答案。哦，是<代码> SED？那么Wiktor的建议应该工作。谢谢。也许你可以解释为什么Actuvv。一行中的eNULL
会产生不同的结果吗？通常不会。另外，：a
和ta
方法的性能如何？它是否与四个sed
s相同？I超过数十亿rows@Nir然后使用awk
或perl
。sed
和：a…ta
通常很慢。您不需要您需要：a…ta
，只需执行两次替换：sed-E的/（\t| ^）NULL（\t|$）/\1\\N\2/g；s/（\t| ^）NULL（\t|$）/\1\\N\2/g；
@Nir您需要执行两次的原因是给定的XaX
执行s/XaX/g'
将在第一次匹配中用完前2个X
s，留下尾随的aX
用于第二次尝试XaX
匹配。试试看。我会试试看，并与perl和awk进行性能比较感谢修复@RavindersingH13您的欢迎先生，祝贺您赢得了200K回购、欢呼和快乐分享先生：）正在工作！我将在大量结果上测试性能，并向您报告！通过连续测试此替换件一次，请检查我的最新答案