百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

shell常用命令之awk用法介绍（awk使用shell变量）

liuian 2025-04-08 16:04 22 浏览

一、awk介绍

awk的强大之处，在于能生成强大的格式化报告。数据可以来自标准输入，一个或多个文件，或者其他命令的输出。他支持用户自定义函数和动态正则表达式等先进功能，是Linux/unix一个强大的文本编辑工具。他在命令行中使用，但更多的作为脚本来使用。awk处理文本和数据的方式是这样的，从第一行到最后一行寻找匹配特定模式的行，并在这些行上进行你想要的操作。如果没有指定处理动作，则把匹配的行显示到标准输出（屏幕），如果没有指定模式，则所有行都被处理。

awk分别代表其作者姓氏的第一个字母，因为他的作者是三个人，分别是：Alfred Aho 、Brian Kernighan 、Peter Weinberger。gawk是awk的GNU版本，他提供了bell实验室和GNU的一些扩展功能。下面介绍的awk是以GNU的gawk为例，在Linux系统中已把awk链接到gawk。

二、awk的使用

2.1）awk的命令格式

awk [options] '/pattern/{action}' filename
awk [options] -f scriptfile filename

options: 
		-F: 自定义字段分隔符
    -v:自定变量
    
scriptfile:
		pattern{Action Statement}{Action Statement} 	语句之间用分号分隔

2.2）pattern和action

awk脚本是由pattern和action两部分组成的：/pattern/{action},两者是可选的：

如果没有pattern,则action应用到所有记录
如果没有action,则默认输出所有匹配记录，而不做任何处理
默认情况下，每一个输入行都是一条记录，但是用户可以通过改变RS变量指定不同的分隔符进行分割

pattern：pattern可以是下面任意一个：

/正则表达式/：
		使用通配符的扩展集
    如。/string/，表示以string为字符串的行

关系表达式：
		可以使用关系运算符进行操作，可以是数字和字符串的比较运算
    比如：$1>$2,过滤第一个字段比第二个字段大的行

pattern匹配表达式：
		如：$1 ~ /pattern/   或  $1 !~ /pattern/

pattern:
		指定一个行的范围，改语法不能包括BEGIN和END块
    /pattern1/，/pattern2/：从匹配pattern1的行开始，到匹配pattern2的行结束，之间所有的行，前闭后闭
    'NR==1,NR==10'，从第1行--第10行
    
 BEGIN：
 			在读取第一条记录之前执行，主要初始化设置，在这里可以设置全局变量设置
 
 END:
			最后执行，汇总统计结果，生成格式化报告

action：由一个或多个命令，函数或者表示组成，之间由分号分割，并位于大括号内，主要有以下四部分：

变量或者数组赋值：{x=10;print x}			{array[pattern1]=$1;array[pattern2]=$2}
输出命令：{print NR,$0}
内置行数：{gsub(/resource/,"target",$0)}:	resource:被替换字符串，目标字符串，被替换的记录（全局替换）
流程控制语句：if		for  while

2.3）awk脚本基本结构

一个awk脚本通常包括：

BEGIN{}语句块
能够使用pattern匹配的通用语句块
END{}语句块

awk 'BEGIN{print "start"}/pattern/{action}END{print "end"}' filename

任何一部分都可以不出现在脚本中，脚本通常实在单引号或者双引号中，如下：

awk 'BEGIN{ i=0 }{ i++ }END{ print i}' filename 
awk "BEGIN{	i=0 }{ i++ }END{ print i}" filename

2.4）awk工作原理

awk 'BEGIN{command}/pattern/{action}END{action}' filename
第一步：执行BEGIN语句块中的command
第二步：从文件或者标准输入流中读取一条语句，然后执行/pattern/{command}命令，他逐行扫描文件，从第一条记录到最后一条记录，重复这个动作，知道文件全部读取完毕
第三步：当读至输入流末尾时，执行END语句块中的command
BEGIN{command}：
		在awk从输入流中读取第一条记录之前执行，这是一个可选的语句块，比如变量的初始化，打印表格的表头等
END{command}：
		当awk从输入流中读取完所有记录之后执行该语句，比如统计所有记录分析结果，生成格式化报告
/pattern/{command}：
		是通用命令，是最重要的，他是可选的
    如果没有/pattern/，则啊我看读取到的每一行都会执行command

示例：

echo -e "A line ln2 line 2" | awk 'BEGIN{ print "start" }{print}END{ print "end" }'

结果：

结果示意图

print命令：

1、当print 不带参数时，打印当前记录
2、当print	带参数且参数之间以“,”分隔时，打印结果则以空格为界定符
3、当print 单参数且参数之间以“”链接时，在双引号为连接符
4、每个print执行完毕，默认结尾自带一个换行符

2.5）使用示例

准备测试数据如下：

测试数据

在脚本中使用多个命令：

# 使用多个命令，每个命令之间用“；”分隔
#	匹配以#开头的行，并将行首的 '# ' 替换为 “”，并打印当前行
awk ‘/^(#)/{gsub(/^(#\s)/,"");print $0}’data.txt

结果：

结果示意图

从文件中读取程序命令：

# 如果程序命令过多，可以单独放到一个脚本文件中
# script脚本文件如下：
/^#/{
  sub(/^# /)
  print $0
}
#执行命令如下：
# awk '/^#/' -f script data.txt			# 错误写法：'' 和 -f 是不能同时使用的
awk -f script data.txt									# 正确写法

结果：

结果示意图

在处理数据之前运行脚本：BEGIN块

awk 'BEGIN{print "开始处理数据"}{print $2,$3}' data.txt

结果：

结果示意图

在处理数据之后执行脚本：END块

awk '/^#/{sub(/^(# )/,"");print $2,$3,$4}END{print "数据处理完毕"}'

结果：

结果示意图

在awk中使用变量

变量又分为两种形式：内置变量；自定义变量。

1）内置变量

-  FS： 输入字段分隔符
-	 OFS： 输出字段分隔符
-  RS：输入记录分隔符
-  ORS：输出记录分隔符
-  FILEDWIDTH：定义数据字段的宽度
-  FILENAME：当前文件名
-  NR：当前行的行号
-  NF：当前行的字段个数，$NF：最后一个字段的值
-  ARGC：命令行参数个数
-  ARGV：命令行参数数组
-  $n：第n个字段值

2）测试数据:awk_test.txt

The dog:There is a big dog and a little dog in the park
The cat:There is a big cat and a little cat in the park
The tiger:There is a big tiger and a litle tiger in the park

测试一：FS和OFS用法

#FS：指定输入数据字段分割符
#OFS：指定输出数据字段拼接符
awk -F: '{print $1,$2}'  awk_test.txt  || awk 'BEGIN{FS=":";OFS=">"}'

结果：

结果示意图

测试二：RS和ORS的用法

测试数据：
Tom is a student
and he is 20 years old

Bob is a teacher
and he is 40 years old

# RS表示输入数据流中记录的分隔符
#ORS表示输出数据流中的记录分隔符
awk 'BEGIN{RS="";ORS="\N";FS="and";OFS=","}' file2

结果

结果示意图

示例三：ARGC和ARGV的用法

awk  -F: '{print ARGC,ARGV[0],ARGV[1]}' file1

结果：

结果示意图

示例三：NR和FNR的用法

#	NR:表示当前处理行的记录数
#	FNR：表示当前行在所属文件中的记录数
awk -F: '{print "NR="NR,"FNR="FNR,$1}' awk_test.txt awk_test_1.txt

结果：

结果示意图

3）自定义变量

在脚本中使用自定义变量，编写脚本script：

# 在BEGIN语句块中，还没有开始读取文本，不能对文本进行处理（例如赋值）
awk -F: 'BEGIN{name="htym>>"}{$1=$name；print $0}' awk_test.txt

结果：

结果示意图

在命令行中使用变量：

脚本script2:
	BEGIN{
  	FS=":"
  }
	{
  	print $n						#n为命令行中传入的参数
  }
运行脚本如下：
awk -f script2 n=2 awk_test.txt
注意：命令中参数在BEGIN语句块中是无法获取的，但是如果使用-v n=2，就可以获取变量n的值

结果示意图

在awk中使用数组

在awk中数组是一种非常有用的数据结构，可以存储一系列的值。与某些编程语言不同，在awk中的数组默认是关联数组（也称为哈希表），这意味着我们使用字符串做索引而不是整数（使用整数作为索引也会被转化为字符串）。

1、数组的定义

数字做索引：数字默认转化为字符串

array[1] = "周杰轮"
array[2] = "刘亦飞"

print array[1]
print array[2]

awk 'BEGIN{array[1]="周杰轮";array[2]="刘亦飞"}{print array[1],array[2]}' awk_test.txt

结果：

结果示意图

字符串做索引：

array["first"]="www";
array["last"]="name";
array["birth"]="1987";

print array["first"],array["last"],array["birth"]

结果：

结果示意图

2、读取数组的值：

awk 'BEGIN{array["first"]="www";array["last"]="name";array["birth"]="1987"}{for (element in array) {
		print element
}}'

结果：

结果示意图

3、数组相关函数：

# 得到数组长度：length,split
# length: 得到数组长度
#	split:将字符串分割成数组，返回数组长度。

awk 'BEGIN{info="it is atest";lengths=split(info,tA," ");print lengths,length(tA)}' awk_test.txt

测试结果：

测试结果

4、遍历数组内容：

## for ... in输出，因为数组是关联数组，默认是无序的。
##  所以通过for ... in 得到的是无序数组
##  如果需要得到有序数组需要通过，需要通过得到下标获得
awk 'BEGIN{info="this is a test";split(info,tA," ");for (element in tA) {print element,array[element]}}'

##  使用下标获得无序数组

awk 'BEGIN{info="this is a test";lens=split(info,tA," ");for (i=1;i<=lens;i++){print i,tA[i]}}'

测试结果：无序数组

测试结果

测试结果：有序数组

测试结果

5、在awk中处理二维数组：二维数组定义，填充，打印

BEGIN{
		scores["Alice,Math"] = 99;
  	scores["Bob,English"] = 88;
  
  	# 辅助数组，只关注键值
  	students["Alice"] = 1;
  	students["Bob"] = 1;
  
		# 辅助数组，只关注键值
  	scores["Math"] = 1;
  	scores["English"] = 1;
  
  	print "student\tsubject\tscore"
  	for(student in students){
    		for(subject in subjects){
        		key = student","subject;
          	print student,subject,scores[key]
        }
    }
}

测试结果：

测试结果

awk中使用正则匹配模式

在awk中使用正则匹配数据行行时，正则表达式一定要放在大括号的前面，如：

awk 'BEGIN{FS=":"}/dog/{print}' awk_test.txt

测试结果：

测试结果

1、用~匹配特定的数据字段

awk -F: '$1 ~ /dog/{print}' awk_test.txt
awk -F: '$1 !~ /dog/{print}' awk_test.txt

测试结果：

测试结果

2、使用数学表达式

# 测试数据：
1:this is the 1 line.
2:this is the 2 line.
3:this is the 3 line.
4:this is the 4 line.

# 测试脚本
awk 'BEGIN{FS=":"}$1/2==0{print $2}' test.txt

测试结果：

测试结果

流程控制语句

在Linux中的awk中可以使用流程控制语句，例如if,while,do...while,for语句，在这些流程控制语句中可以使用break,continue,exit这样的语句来推出循环。
break中断当前循环，跳到循环外，执行吓一跳语句。
awk中流程控制语句，语法结构与C语言类似
有了这些语句，许多yaml程序都可以交给awk，而且性能时非常的快，下面是这些语句的用法：

1、条件判断语句

if(条件判断){
		..业务逻辑..
}else{
		..业务逻辑..
}

if(条件判断){
		..业务逻辑..
}else if(条件判断){
		..业务逻辑..
}else{
		..业务逻辑..
}

示例：

BEGIN{
		test = 100;
  	if(test>=90){
    		print "very good";
    }else if(test >=60){
    		print "good";
    }else{
    		print "no pass";
    }
}

2、while循环

while(条件判断){
		..业务逻辑..
}
BEGIN{
  	test = 100;
  	total = 0;
		while(i<=test){
				total += i;
      	i++;
		}
}

3、for循环语句：for循环有两种格式

格式一：

# 语法格式：
for(element in arrays){

}
# 编辑文件 test
www.baidu.com
123
424
4523
www.bai.com
123
www.baidu.com

# 统计重复行次数
 awk '{
 # 创建一个数组，将字段作为下标，值为自增，第一个值为1
 # Count[www.baidu.com]=1
 Count[$NF]++} 
 END{
 # 创建一个变量，来遍历数组下标
 for(arr in Count) 
 	# 打印 数组下标，和数组对于值，即为下标次数
 	print arr,Count[arr] 
 	
 }' test
 
www.bai.com 1
www.baidu.com 2
123 2
424 1
4523 1

格式二：

#  语法格式
for(i=1;i<=n;i++){

}
awk 'BEGIN{
total=0;
for(i=0;i<=100;i++){
  total+=i;
}
print total;
}'

5050

用户自定义函数

用户自定义函数一定要放在函数调用之前定义，格式：

function function_name(arg1,arg2,arg3...){
		statement
    statement
    ....
}

# 示例
awk '
function fshow() 
{
    printf "%-5s : %s\n", $1, $3
}
BEGIN{
    print "开始处理..."
}
{
    fshow() 
}' file4

相关推荐

深入解析 MySQL 8.0 JSON 相关函数:解锁数据存储的无限可能

引言在现代应用程序中，数据的存储和处理变得愈发复杂多样。MySQL8.0引入了丰富的JSON相关函数，为我们提供了更灵活的数据存储和检索方式。本文将深入探讨MySQL8.0中的JSON...

MySQL的Json类型个人用法详解（mysql json类型对应java什么类型）

前言虽然MySQL很早就添加了Json类型，但是在业务开发过程中还是很少设计带这种类型的表。少不代表没有，当真正要对Json类型进行特定查询，修改，插入和优化等操作时，却感觉一下子想不起那些函数怎么使...

MySQL的json查询之json_array（mysql json_search）

json_array顾名思义就是创建一个数组，实际的用法，我目前没有想到很好的使用场景。使用官方的例子说明一下吧。例一selectjson_array(1,2,3,4);json_array虽然单独...

头条创作挑战赛#一、LSTM 原理 长短期记忆网络

#头条创作挑战赛#一、LSTM原理长短期记忆网络（LongShort-TermMemory，LSTM）是一种特殊类型的循环神经网络（RNN），旨在解决传统RNN在处理长序列数据时面临的梯度...

TensorBoard最全使用教程:看这篇就够了

机器学习通常涉及在训练期间可视化和度量模型的性能。有许多工具可用于此任务。在本文中，我们将重点介绍TensorFlow的开源工具套件，称为TensorBoard，虽然他是TensorFlow...

图神经网络版本的Kolmogorov Arnold(KAN)代码实现和效果对比

本文约4600字，建议阅读10分钟本文介绍了图神经网络版本的对比。KolmogorovArnoldNetworks(KAN)最近作为MLP的替代而流行起来，KANs使用Kolmogorov-Ar...

kornia，一个实用的 Python 库!（python kkb_tools）

大家好，今天为大家分享一个实用的Python库-kornia。Github地址：https://github.com/kornia/kornia/Kornia是一个基于PyTorch的开源计算...

图像分割掩码标注转YOLO多边形标注

Ultralytics团队付出了巨大的努力，使创建自定义YOLO模型变得非常容易。但是，处理大型数据集仍然很痛苦。训练yolo分割模型需要数据集具有其特定格式，这可能与你从大型数据集中获得的...

[python] 向量检索库Faiss使用指北

Faiss是一个由facebook开发以用于高效相似性搜索和密集向量聚类的库。它能够在任意大小的向量集中进行搜索。它还包含用于评估和参数调整的支持代码。Faiss是用C++编写的，带有Python的完...

如何把未量化的 70B 大模型加载到笔记本电脑上运行?

并行运行70B大模型我们已经看到，量化已经成为在低端GPU（比如Colab、Kaggle等）上加载大型语言模型（LLMs）的最常见方法了，但这会降低准确性并增加幻觉现象。那如果你和你的朋友们...

ncnn+PPYOLOv2首次结合!全网最详细代码解读来了

编辑：好困LRS【新智元导读】今天给大家安利一个宝藏仓库miemiedetection，该仓库集合了PPYOLO、PPYOLOv2、PPYOLOE三个算法pytorch实现三合一，其中的PPYOL...

人工智能——图像识别（人工智能图像识别流程）

概述图像识别（ImageRecognition）是计算机视觉的核心任务之一，旨在通过算法让计算机理解图像内容，包括分类（识别物体类别）、检测（定位并识别多个物体）、分割（像素级识别）等，常见的应用场...

PyTorch 深度学习实战(15):Twin Delayed DDPG (TD3) 算法

在上一篇文章中，我们介绍了DeepDeterministicPolicyGradient(DDPG)算法，并使用它解决了Pendulum问题。本文将深入探讨TwinDelayed...

大模型中常用的注意力机制GQA详解以及Pytorch代码实现

分组查询注意力(GroupedQueryAttention)是一种在大型语言模型中的多查询注意力(MQA)和多头注意力(MHA)之间进行插值的方法，它的目标是在保持MQA速度的同时...

pytorch如何快速创建具有特殊意思的tensor张量?

专栏推荐正文我们通过值可以看到torch.empty并没有进行初始化创建tensor并进行随机初始化操作，常用rand/rand_like,randint正态分布（0，1）指定正态分布的均值还有方差i...

一周热门
最近发表
标签列表