一天一个shell命令 linux文本内容操作系列-sed命令详解

说明：
sed是stream editor（流编辑器）的缩写。它能够完美匹配正则表达式。sed和awk是文件编辑最重要的两个命令了。尤其涉及到了很多正则表达式的问题，笔者不敢也有点犯怵，试着写写。
实例：
1.替换文件中的字符串
$sed -i "s/text/replace/g" file
#如果不加g结尾，则替换每一行的第一个
#如果只是打印，去掉-i
2.忽略前N处匹配，从N+1出开始替换
$sed -i "s/text/replace/2g" file
#在g前面加入数字N
3.移除空白符
$sed "/^$/d" file
4.标记已匹配的内容
$echo this is an example | sed "s:w+:/[&]:g"
[this] [is] [an] [example]
#冒号是定界符，只要合适，定界符可以是任意的
5.子串匹配
$echo this is digit 7 in a number | sed "s:digit （0-9）:1:"
#输出：this is 7 in a number
#学过正则表达式的人，都理解group的概念，（）里的内容是第一组，所以只打印了7
6.引用
$text=hello
$echo hello world | sed "s/$text/HELLO"
#输出HELLO world
#可能有人注意用双引号，是因为单引号会把$text当做一个字符串，而不是表达式。
7.删除
$sed "2d" file #删除第二行
$sed "2,$d" file #删除2-最后一行
$sed "$d" file #删除最后一行
解读—help
用法: sed [选项]... {脚本（如果没有其他脚本）} [输入文件]...
-n, --quiet, --silent
                  取消自动打印模式空间
-e 脚本, --expression=脚本
                 添加“脚本”到程序的运行列表
-f 脚本文件, --file=脚本文件
                 添加“脚本文件”到程序的运行列表
--follow-symlinks
                  直接修改文件时跟随软链接
-i[扩展名], --in-place[=扩展名]
                  直接修改文件（如果指定扩展名就备份文件）
   -l N, --line-length=N
                  指定“l”命令的换行期望长度
--posix
                  关闭所有 GNU 扩展
-r, --regexp-extended
                  在脚本中使用扩展正则表达式
-s, --separate
                  将输入文件视为各个独立的文件而不是一个长的连续输入
-u, --unbuffered
                  从输入文件读取最少的数据，更频繁的刷新输出
      --help     打印帮助并退出
      --version 输出版本信息并退出
如果没有 -e, --expression, -f 或 --file 选项，那么第一个非选项参数被视为
sed脚本。其他非选项参数被视为输入文件，如果没有输入文件，那么程序将从标准
输入读取数据。
解读：
对于这个帮助信息，确实信息量非常不足，不过sed确实过于复杂，所以尝试分成几次来详解这个命令。
我再借用另一段帮助信息文档
调用sed命令有两种形式：
sed [options] "command" file（s）
sed [options] -f scriptfile file（s）
options
a   例如：sed "amm" file
在当前行后面加入一行文本。
b lable
分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
c
用新的文本改变本行的文本。
d
从模板块（Pattern space）位置删除行。
D
删除模板块的第一行。
i
在当前行上面插入文本。
h
拷贝模板块的内容到内存中的缓冲区。
H
追加模板块的内容到内存中的缓冲区
g
获得内存缓冲区的内容，并替代当前模板块中的文本。
G
获得内存缓冲区的内容，并追加到当前模板块文本的后面。
l
列表不能打印字符的清单。
n
读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
N
追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
p
打印模板块的行。
P（大写）
打印模板块的第一行。
q
退出Sed。
r file
从file中读行。
t label
if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
T label
错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
w file
写并追加模板块到file末尾。
W file
写并追加模板块的第一行到file末尾。
！
表示后面的命令对所有没有被选定的行发生作用。
s/re/string
用string替换正则表达式re。
=
打印当前行号码。
#
把注释扩展到下一个换行符以前。

以下的是替换标记
g表示行内全面替换。
p表示打印行。
w表示把行写入一个文件。
x表示互换模板块中的文本和缓冲区中的文本。
y表示把一个字符翻译为另外的字符（但是不用于正则表达式）
区别加斜杆与不加
例如： a 表示在a后面加入内容，而d则在d前面加入表达式，1d表示删除1行。
sed补充
这是对sed命令与选项的一个比较全面的补充,主要是从网上搜集的例子。
1 p命令
命令p用于显示模式空间的内容。默认情况下，sed把输入行打印在屏幕上，选项-n用于取消默认的打印操作。当选项-n和命令p同时出现时,sed可打印选定的内容。

复制代码代码如下:
sed "/my/p" datafile
#默认情况下，sed把所有输入行都打印在标准输出上。如果某行匹配模式my，p命令将把该行另外打印一遍。

sed -n "/my/p" datafile
#选项-n取消sed默认的打印，p命令把匹配模式my的行打印一遍。

2.d命令
命令d用于删除输入行。sed先将输入行从文件复制到模式空间里，然后对该行执行sed命令，最后将模式空间里的内容显示在屏幕上。如果发出的是命令d，当前模式空间里的输入行会被删除，不被显示。
sed "$d" datafile
#删除最后一行，其余的都被显示
sed "/my/d" datafile
#删除包含my的行，其余的都被显示
3.s命令
sed "s/^My/You/g" datafile
#命令末端的g表示在行内进行全局替换，也就是说如果某行出现多个My，所有的My都被替换为You。
sed -n "1,20s/My$/You/gp" datafile
#取消默认输出，处理1到20行里匹配以My结尾的行，把行内所有的My替换为You，并打印到屏幕上。

sed "s#My#Your#g" datafile
#紧跟在s命令后的字符就是查找串和替换串之间的分隔符。分隔符默认为正斜杠，但可以改变。无论什么字符（换行符、反斜线除外），只要紧跟s命令，就成了新的串分隔符。
4 e选项
-e是编辑命令，用于sed执行多个编辑任务的情况下。在下一行开始编辑前，所有的编辑动作将应用到模式缓冲区中的行上。
sed -e "1,10d"-e "s/My/Your/g" datafile
#选项-e用于进行多重编辑。第一重编辑删除第1-3行。第二重编辑将出现的所有My替换为Your。因为是逐行进行这两项编辑（即这两个命令都在模式空间的当前行上执行），所以编辑命令的顺序会影响结果。
5 r命令
r命令是读命令。sed使用该命令将一个文本文件中的内容加到当前文件的特定位置上。
sed "/My/r introduce.txt" datafile
#如果在文件datafile的某一行匹配到模式My，就在该行后读入文件introduce.txt的内容。如果出现My的行不止一行，则在出现My的各行后都读入introduce.txt文件的内容。
6 w命令
sed -n "/hrwang/w me.txt" datafile

7 a 命令
a 命令是追加命令，追加将添加新文本到文件中当前行（即读入模式缓冲区中的行）的后面。所追加的文本行位于sed命令的下方另起一行。如果要追加的内容超过一行，则每一行都必须以反斜线结束，最后一行除外。最后一行将以引号和文件名结束。
sed "/^hrwang/a
>hrwang and mjfan are husband
>and wife" datafile
#如果在datafile文件中发现匹配以hrwang开头的行，则在该行下面追加hrwang and mjfan are husband and wife

8 i 命令
i 命令是在当前行的前面插入新的文本。
9 c 命令
sed使用该命令将已有文本修改成新的文本。
10 n命令
sed使用该命令获取输入文件的下一行，并将其读入到模式缓冲区中，任何sed命令都将应用到匹配行紧接着的下一行上
sed "/hrwang/{n;s/My/Your/;}" datafile
=注：如果需要使用多条命令，或者需要在某个地址范围内嵌套地址，就必须用花括号将命令括起来，每行只写一条命令，或这用分号分割同一行中的多条命令。
11 y命令
该命令与UNIX/Linux中的tr命令类似，字符按照一对一的方式从左到右进行转换。例如，y/abc/ABC/将把所有小写的a转换成A，小写的b转换成B，小写的c转换成C。
sed "1,20y/hrwang12/HRWANG^$/" datafile
#将1到20行内，所有的小写hrwang转换成大写，将1转换成^,将2转换成$。
#正则表达式元字符对y命令不起作用。与s命令的分隔符一样，斜线可以被替换成其它的字符。

12 q命令
q命令将导致sed程序退出，不再进行其它的处理
01.sed "/hrwang/{s/hrwang/HRWANG/;q;}" datafile
13 h命令和g命令
#cat datafile
My name is hrwang.
Your name is mjfan.
hrwang is mjfan"s husband.
mjfan is hrwang"s wife.
sed -e "/hrwang/h"-e "$G" datafile
sed -e "/hrwang/H" -e "$G" datafile
#通过上面两条命令，你会发现h会把原来暂存缓冲区的内容清除，只保存最近一次执行h时保存进去的模式空间的内容。而H命令则把每次匹配hrwnag的行都追加保存在暂存缓冲区。
sed -e "/hrwang/H" -e "$g" datafile
sed -e "/hrwang/H" -e "$G" datafile
#通过上面两条命令，你会发现g把暂存缓冲区中的内容替换掉了模式空间中当前行的内容，此处即替换了最后一行。而G命令则把暂存缓冲区的内容追加到了模式空间的当前行后。此处即追加到了末尾。