文本处理工具sed和awk

发表于

sed 和 awk 是linux上两个文本处理工具，两者的功能比较相似，相比sed， awk的功能更为强大一些，但使用上也更加复杂。

sed

sed是一种流编辑器，它可以分析标准输入流的的数据， 然后将数据经过处理后，再输出到标准输出，能够完美的配合正则表达式使用。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

显示文本内容，删除指定行

1
2
3
4
#将 /etc/passwd 的内容列出并打印行号，同时删除2~39行
[root@linux ~]#  sed -n '2,39d' /etc/passwd
     1	root:x:0:0:root:/root:/bin/bash
     40 stad:x:120:65534::/var/lib/nfs:/bin/false

在指定位置插入行

1
2
3
4
5
#在第二行后(亦即是加在第三行)加上'add here'
[root@linux ~]# sed -n '2a add here' /etc/passwd #把2a换成2i，则为加到第二行前
     1	root:x:0:0:root:/root:/bin/bash
     2	daemon:x:1:1:daemon:/usr/sbin:/usr/sbin/nologin
add here

替换指定行

1
2
3
4
#取代第2-7行的内容为指定字符串
[root@linux ~]# sed  -n '2,7c something changes' /etc/passwd
    1 root:x:0:0:root:/root:/bin/bash
something changes

显示指定行

1
2
3
4
#仅列出第 5-6 行内容
[root@linux ~]# sed -n '5,6p' /etc/passwd
    5 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
    6 sync:x:5:0:sync:/sbin:/bin/sync

显示含有指定关键词的行

1
2
3
4
5
6
7
8
#仅显示包含“game”的行
[root@linux ~]# sed -n '/game/p' file
#只打印那些发生替换的行,加后缀'p'
[root@linux ~]# sed -n 's/book/game/p' file
    1 game book book
    5 dfan hehe game
    8 and i and we game

替换文本内容,可通过使用正则表达式提高替换的效率

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[root@linux ~]# sed 's/Li/Wang/' file # 只替换每一行中的第一个“foo”字串
[root@linux ~]# sed 's/Li/Wang/4' file # 只替换每一行中的第四个“foo”字串
[root@linux ~]# sed 's/Li/Wang/g' file # 将每一行中的所有“foo”都换成“bar”
[root@linux ~]# sed 's/Li/Wang/gp' file # 以上都会显示所有的行,'p'后缀除了所有内容还会打印出发生替换的行
Wang is a very funny guy.
Wang is a very funny guy.
every one love him. And Wang is very clever.
every one love him. And Wang is very clever. 
Do you?
[root@linux ~]# sed -n 's/Li/Wang/gp' file # '-n'参数只打印出发生替换的行,并不显示所有内容
Wang is a very funny guy.
And Wang is very clever. We all think Wang is cool.
##一些复杂的例子
#删除文件中所有开头是test的行： 
[root@linux ~]# sed '/^test/d' file
#正则表达式 \w\+ 匹配每一个单词，使用 [&] 替换它，& 对应于之前所匹配到的单词
[root@linux ~]# echo this is a test line | sed 's/\w\+/[&]/g' 
[this] [is] [a] [test] [line]
#love被标记为\1，同理匹配到的第二个结果即为\2.所有loveable会被替换成lovers，并打印出来： 
[root@linux ~]# sed -n 's/\(love\)able/\1rs/p' file
#-e选项允许在同一行里执行多条命令.
#下面sed表达式的第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果
[root@linux ~]# sed -e '1,5d' -e 's/test/check/' file

awk

awk是一个强大的文本分析工具,可以把文本逐行读入,以空格为默认的分隔符将每行切片,切开的部分再进行各种分析处理.相较于 sed 常常作用于一整个行的处理，awk 则比较倾向于一行当中分成数个字段来处理。

基本用法，\$n 为awk里的内置变量，\$0 表示所有列,\$1 表示第一列,\$2 表示第二列,依次类推

1
2
3
4
5
#显示最近登录的5个账户名,
[root@linux ~]# last -n 5|awk '{print $1}' 
#显示/etc/passd的账户名和对应的shell,两者以tab分隔,-F 指定分隔域符为":"
[root@linux ~]# cat /etc/passwd | awk -F ':' '{print $1"\t"$7}'

函数使用

1
2
#在开始和结尾处添加信息
[root@linux ~]# cat /etc/passwd | awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'

搜索内容

1
2
3
4
#搜索/etc/passwd文件内有root关键字的所有行
[root@linux ~]# awk -F: '/root/' /etc/passwd
#搜索/etc/passwd文件内所有root关键字的所有行,并显示对应shell
[root@linux ~]# awk -F: '/root/{print $7}' /etc/passwd

其它内置变量

1
2
3
4
#统计/etc/passwd文件名,每行的行号,每行的行数,对应行的完整内容.FILENAME是内置变量名,值为处理文件名,NF为浏览记录的域的个数,NR为浏览的记录数
[root@linux ~]# awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:" $0}' /etc/passwd
#可使用printf替代print,从而使代码更为简洁
[root@linux ~]#  awk  -F ':'  '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

自定义变量

1
2
3
4
5
6
7
8
9
10
11
12
#变量和赋值，除了awk的内置变量，awk还可以自定义变量。下面统计/etc/passwd的账户人数，count是自定义的变量
[root@linux ~]# awk 'BEGIN {count=0;print "[start]user count is ", count} {count=count+1;print $0;} END{print "[end]user count is ", count}' /etc/passwd
[start]user count is  0
root:x:0:0:root:/root:/bin/bash
...
[end]user count is  40
#统计某个文件夹的文件占用的字节数
[root@linux ~]# ls -l | awk 'BEGIN{size=0;} {size=size+$5} END{print "[end]size is ", size}'  
[end]size is  8657198
#以M为单位显示,不包含子文件夹
[root@linux ~]# ls -l |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is  8.25889 M

条件语句和循环语句

1
2
3
4
5
6
7
8
9
10
11
12
#条件语句，统计某个文件夹下的文件占用的字节数,过滤4096大小的文件(一般都是文件夹):
[root@linux ~]# ls -l |awk 'BEGIN {size=0;print "[start]size is ", size} {if($5!=4096){size=size+$5;}} END{print "[end]size is ", size/1024/1024,"M"}' 
[end]size is  8.22339 M
#循环语句，利用数组显示/etc/passwd的账户
[root@linux ~]# awk -F ':' 'BEGIN {count=0;} {name[count] = $1;count++;}; END{for (i = 0; i < NR; i++) print i, name[i]}' /etc/passwd
0 root
1 daemon
2 bin
3 sys
4 sync
5 games
......

实例

统计文件内所有的数字之和，文件内容如下：

1
2
3
4
5
6
abbbbbbbc 1
aaaaaaaac 2
adfdfdfdc
adfdfdfda 3
4 adfdfdf
5  6

awk命令：

1
2
3
4
5
6
7
8
9
awk '{ 
for(i=1; i <= NF; i++)
  {
    if($i ~ /[[:digit:]]/)
    {
       str = str + $i
    }
  }
} END{print str}' test

参考资料: