Shell 如何从文本文件中删除包含特定字符串的所有行？

如何使用sed删除文本文件中包含特定字符串的所有行？

删除该行并将输出打印到标准输出：

sed '/pattern to match/d' ./infile

要直接修改文件–不适用于BSD sed，请执行以下操作：

sed -i '/pattern to match/d' ./infile

相同，但对于BSD sed（Mac OS X和FreeBSD）–不适用于GNU sed：

sed -i '' '/pattern to match/d' ./infile

要直接修改文件（并创建备份），请使用BSD和GNU-sed：

sed -i.bak '/pattern to match/d' ./infile

---

除了

sed

，还有许多其他方法可以删除带有特定字符串的行：

sed --in-place '/some string here/d' yourfile

AWK 红宝石（1.9+） Perl Shell（bash 3.2及更高版本）

---

当然，

sed

（打印反向比实际删除快）：

---

可以使用sed替换文件中的行。但是，它似乎比使用grep将反向文件放入第二个文件，然后将第二个文件移到原始文件上要慢得多

e、 g

或

无论如何，在我的机器上，第一个命令花费的时间要长3倍

perl -i    -nle'/regexp/||print' file1 file2 file3
perl -i.bk -nle'/regexp/||print' file1 file2 file3

第一个命令编辑在位文件（-i）

---

第二个命令执行相同的操作，但通过在文件名中添加.bk来保留原始文件的副本或备份（.bk可以更改为任何内容）。

使用GNU

sed实现此操作的简单方法：

sed --in-place '/some string here/d' yourfile

您还可以使用以下选项：

 grep -v 'pattern' filename

此处
-v
将仅打印图案以外的图案（这意味着反向匹配）。
要使用
grep
获得类似原位的结果，可以执行以下操作：

echo "$(grep -v "pattern" filename)" >filename

你可以考虑使用（这是一个标准的UNIX命令编辑器）：
其中：


+
执行给定的Ex命令（
man-Ex
），与执行
wq
的
-c
相同（写入并退出）
g/match/d
-Ex命令删除具有给定
match
的行，请参阅：

上面的示例是一种兼容POSIX的方法，用于根据此和就地编辑文件


与sed的区别在于：

sed
是一个StreamED编辑器，而不是文件编辑器

除非您喜欢不可移植的代码、I/O开销和其他一些糟糕的副作用。因此，基本上一些参数（如in-place/
-i
）是非标准的FreeBSD扩展，在其他操作系统上可能不可用。
我在Mac上一直在努力解决这个问题。另外，我需要使用变量替换来完成

所以我用了：

sed-i'/$pattern/d“$file

其中，
$file
是需要删除的文件，
$pattern
是要匹配删除的模式

我从中选择了
'

这里需要注意的是在
“/$pattern/d”
中使用双引号。当我们使用单引号时，变量将不起作用。
SED:





AWK：





格雷普：



echo-e”/thing_to_delete\ndd\033:x\n“| vim file_to_edit.txt
如果有人想对字符串进行精确匹配，您可以使用grep-w中的
-w
标志来表示整个字符串。即，例如，如果要删除编号为11的行，但保留编号为111的行：

-bash-4.1$ head file
1
11
111

-bash-4.1$ grep -v "11" file
1

-bash-4.1$ grep -w -v "11" file
1
111

如果您想一次排除几个精确的模式，它还可以使用
-f
标志。如果“黑名单”是一个文件，每行上有几个模式，您要从“文件”中删除：

我用一个包含大约345000行的文件做了一个小的基准测试。在这种情况下，
grep
方法似乎比
sed
方法快15倍左右

我尝试过设置LC_ALL=C和不设置LC_ALL=C，它似乎没有显著改变计时。搜索字符串（CDGAYO9004.PDBQT.GZ.TAR）在文件中间某个地方。

以下是命令和计时：

time sed -i "/CDGA_00004.pdbqt.gz.tar/d" /tmp/input.txt

real    0m0.711s
user    0m0.179s
sys     0m0.530s

time perl -ni -e 'print unless /CDGA_00004.pdbqt.gz.tar/' /tmp/input.txt

real    0m0.105s
user    0m0.088s
sys     0m0.016s

time (grep -v CDGA_00004.pdbqt.gz.tar /tmp/input.txt > /tmp/input.tmp; mv /tmp/input.tmp /tmp/input.txt )

real    0m0.046s
user    0m0.014s
sys     0m0.019s

在控制台中显示处理过的文本

cat filename | sed '/text to remove/d' 

将处理过的文本保存到文件中

cat filename | sed '/text to remove/d' > newfile

将处理过的文本信息附加到现有文件的步骤

cat filename | sed '/text to remove/d' >> newfile

要处理已处理的文本，在本例中，请删除已删除内容的更多行

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

| more
将一次以一页的块显示文本。
您可以使用良好的旧
ed
以与使用
ex
类似的方式编辑文件。这种情况下的最大区别是，
ed
通过标准输入获取其命令，而不是像
ex
这样的命令行参数。在脚本中使用它时，通常的方法是使用
printf
将命令传递到它：

printf "%s\n" "g/pattern/d" w | ed -s filename

或使用heredoc：

ed -s filename <<EOF
g/pattern/d
w
EOF

ed-s filename您还可以删除文件中的一系列行。
例如，删除SQL文件中的存储过程

sed'/CREATE PROCEDURE.*/，/END/d'sqllines.sql

这将删除创建过程和结束之间的所有行

我用这个sed命令清理了许多sql文件。
奇怪的是，接受的答案实际上并没有直接回答这个问题。问题是关于使用sed替换字符串，但答案似乎是以如何将任意字符串转换为正则表达式为前提的

许多编程语言库都有执行这种转换的功能，例如

python: re.escape(STRING)
ruby: Regexp.escape(STRING)
java:  Pattern.quote(STRING)

但是如何在命令行上执行呢

由于这是一个面向sed的问题，一种方法是使用sed本身：

sed 's/\([\[/({.*+^$?]\)/\\\1/g'

因此，给定一个任意字符串$string，我们可以编写如下内容：

re=$(sed 's/\([\[({.*+^$?]\)/\\\1/g' <<< "$STRING")
sed "/$re/d" FILE

re=$（sed's/\（[\[（{.*+^$？]\）/\\\1/g'从所有匹配的文件中删除行

grep -rl 'text_to_search' . | xargs sed -i '/text_to_search/d'

谢谢，但它似乎不会将其从文件中删除，而只是打印出文本文件内容，而不带该字符串。@发条：是的，您需要将输出重定向到一个新文件，该文件类似于
sed'/pattern以匹配/d./infle>/newfile
，或者如果您想进行就地编辑，则可以添加
-i
标记to按
sed-i'/模式使用，以匹配/d'/infle
。否
cat filename | sed '/text to remove/d' 

cat filename | sed '/text to remove/d' > newfile

cat filename | sed '/text to remove/d' >> newfile

cat filename | sed '/text to remove/d' | sed '/remove this too/d' | more

printf "%s\n" "g/pattern/d" w | ed -s filename

ed -s filename <<EOF
g/pattern/d
w
EOF

python: re.escape(STRING)
ruby: Regexp.escape(STRING)
java:  Pattern.quote(STRING)

sed 's/\([\[/({.*+^$?]\)/\\\1/g'

re=$(sed 's/\([\[({.*+^$?]\)/\\\1/g' <<< "$STRING")
sed "/$re/d" FILE

 sed "/$(sed 's/\([\[/({.*+^$?]\)/\\\1/g' <<< "$STRING")/d" 

grep -rl 'text_to_search' . | xargs sed -i '/text_to_search/d'