awk命令详解

命令名称

Awk pattern scanning and processing language

命令作用

对文本和数据进行处理

详细说明

awk 是一种编程语言, 用于在linux/unix下对文本和数据进行处理。数据可以来自标准输(stdin)、一个或多个文件, 或其它命令的输出。

它在命令行中使用, 但更多是作为脚本来使用。awk有很多内建的功能, 比如数组、函数等, 这是它和C语言的相同之处, 灵活性是awk最大的优势。

语法格式

awk [options] 'scripts' var=value filename

常用参数

-F 指定分隔符(可以是字符串或正则表达式)

-f 从脚本文件中读取awk命令

-v var=value 赋值变量，将外部变量传递给awk

脚本基本结构

awk 'BEGIN{ print "start" } pattern{ commands } END{ print "end" }' filename

一个awk脚本通常由BEGIN语句+模式匹配+END语句三部分组成, 这三部分都是可选项

工作原理:

第一步执行BEGIN 语句

第二步从文件或标准输入读取一行, 然后再执行pattern语句, 逐行扫描文件到文件全部被读取

第三步执行END语句

实例展示:

echo "hello " | awk 'BEGIN{ print "welcome" } END{ print "2017-08-08" }'

welcome

2017-08-08

echo -e "hello" | awk 'BEGIN{ print "welcome" } {print} END{ print "2017-08-08" }'

welcome

hello

2017-08-08

#不加print参数时默认只打印当前的行

-e 参数的作用:

echo -e "OK! \n" # -e 开启转义

echo "It is a test"

输出结果：

OK!

It is a test

echo | awk '{ a="hello"; b="nihao"; c="mingongge"; print a,b,c; }'

hello nihao mingongge

#使用print以逗号分隔时, 打印则是以空格分界

echo | awk '{ a="mgg"; b="mingg"; c="mingongge"; print a" is "b" or "c; }'

mgg is mingg or mingongge

#awk的print语句中双引号其实就是个拼接作用

Awk的变量

内置变量

$0 #当前记录

$1~$n #当前记录的第N个字段

FS #输入字段分隔符(-F相同作用)默认空格

RS #输入记录分割符, 默认换行符

NF #字段个数就是列

NR #记录数, 就是行号, 默认从1开始

OFS #输出字段分隔符, 默认空格

ORS #输出记录分割符, 默认换行符

外部变量

> # a=100

> # b=100

> # echo | awk '{print v1*v2 }' v1=$a v2=$b

10000

Awk运算与判断

算术运算符

+ - 加减

* / & 乘 除 求余

^ * 求幂

++ -- 增加或减少, 作为前缀或后缀

> # awk 'BEGIN{a="b";print a,a++,a--,++a;}'

b 0 1 1

> # awk 'BEGIN{a="0";print a,a++,a--,++a;}'

0 0 1 1

> # awk 'BEGIN{a="0";print a,a++,--a,++a;}'

0 0 0 1

#和其它编程语言一样, 所有用作算术运算符进行操作, 操作数自动转为数值, 所有非数值都变为0

赋值运算符

= += -= *= /= %= ^= **=

正则运算符

~ !~ 匹配正则表达式/不匹配正则表达式

逻辑运算符

|| && 逻辑或 逻辑与

关系运算符

< <= > >= != =

其它运算符

$ 字段引用

空格 字符串链接符

?: 三目运算符

ln 数组中是否存在某键值

Awk正则

^ 行首定位符

$ 行尾定位符

. 匹配任意单个字符

* 匹配0个或多个前导字符(包括回车)

+ 匹配1个或多个前导字符

? 匹配0个或1个前导字符

[] 匹配指定字符组内的任意一个字符/^[ab]

[^] 匹配不在指定字符组内的任意一个字符

() 子表达式

| 或者

\ 转义符

~,!~ 匹配或不匹配的条件语句

x{m} x字符重复m次

x{m,} x字符至少重复m次

x{m,n} x字符至少重复m次但不起过n次(需指定参数-posix或--re-interval)

> # cat student.txt

ID Name PHP Linux MySQL Average

1 Liming 82 95 86 87.66

2 Sc 74 96 87 85.66

3 Gao 99 83 93 91.66

案例1:

> # awk '{printf $2 "\t" $6 "\n"}' student.txt

#输出第二列和第六列的内容

Name Average

Liming 87.66

Sc 85.66

Gao 91.66

"$2"和"$6"分别代表第二个字段和第六个字段, 所以这条 awk 命令会列出 student.txt 文件的第二个字段和第六个字段。

案例2:

> # df -h | awk '{print $1 "\t" $3}'

文件系统 已用

/dev/sda3 1.8G

tmpfs 0

/dev/sda1 26M

/dev/sr0 3.5G

在这两个例子中, 我们分别使用了 printf 动作和 print 动作。发现了吗? 如果使用 printf 动作, 就必须在最后加入"\n", 因为 printf 只能识别标准输出格式;

如果我们不使用"\n", 它就不会换行。而 print 动作则会在每次输出后自动换行, 所以不用在最后加入"\n"。

案例3: BEGIN

BEGIN 是 awk 的保留字，是一种特殊的条件类型。BEGIN 的执行时机是"在 awk 程序一开始，尚未读取任何数据之前"。

> # awk 'BEGIN{printf "This is a transcript\n"}

{printf $2 "\t" $6 "\n"}' student.txt

#awk命令只要检测不到完整的单引号就不会执行, 所以这条命令的换行不用加入"\", 就是一行命令

#这里定义了两个动作

#第一个动作使用BEGIN条件，所以会在读入文件数据前打印"这是一张成绩单"（只会执行一次）

#第二个动作会打印文件的第二个字段和第六个字段

This is a transcript

Name Average

Liming 87.66

Sc 85.66

Gao 91.66

案例4: END

END 也是 awk 的保留字，不过刚好和 BEGIN 相反。END 是在 awk 程序处理完所有数据，即将结束时执行的。END 后的动作只在程序结束时执行一次。例如：

> # awk 'END{printf "The End \n"}

{printf $2 "\t" $6 "\n"}' student.txt

#输出结尾输入"The End"，这并不是文档本身的内容，而且只会执行一次

Name Average

Liming 87.66

Sc 85.66

Gao 91.66

The End

案例5:

> # cat student.txt | grep -v Name | awk '$6 >= 87 {printf $2"\n"}'

#使用cat输出文件内容, 用grep取反包含"Name"的行

#判断第六个字段(平均成绩)大于等于87分的行, 如果判断式成立, 则打印第六列(学员名)

Liming

Gao

案例6: 正则表达式

> # awk '$2 -/Sc/ {printf $6 "\n"}' student.txt

#如果第二个字段中包含"Sc"字符, 则打印第六个字段

85.66

这里要注意, 在 awk 中, 只有使用"//"包含的字符串, awk 命令才会査找。也就是说, 字符串必须用"//"包含, awk 命令才能正确识别。

如果想让 awk 识别字符串, 则必须使用"//"包含, 例如：

> # awk '/Liming/ {print}' student.txt

#打印Liming的成绩

1 Liming 82 95 86 87.66

当使用 df 命令査看分区的使用情况时, 如果我只想査看真正的系统分区的使用情况, 而不想査看光盘和临时分区的使用情况, 则可以这样做：

> # df -h | awk '/sda[0-9]/ {printf $1 '\t\ $5 "\n"}'

#查询包含"sda数字"的行，并打印第一个字段和第五个字段

/dev/sda3 10%

/dev/sda1 15%