百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Linux Shell三剑客之awk,功能强大的文本处理工具

liuian 2024-12-14 13:33 19 浏览

用手学Linux

awk命令初学时没有主要思路,不清楚具体功能,很容易沉迷在指令参数的海洋里,而且,awk还支持循环、判断,相当于学习一门小型编程语言,学习难度比较高。

对于大多数人来说,理解能力都差不多,按照本文案例流程,在自己的Linux上敲一遍,和结果对比,检查是否一致,就很容易理解了。

不求面面俱到,只求初步掌握,熟练后再搭配其他指令灵活运用。

awk简介

awk是Linux Shell中一种非常强大的文本处理工具,数据可以来自标准输入或者管道

awk不仅仅是一个命令,更是一门编程语言,支持选择结构、循环结构、以及丰富的逻辑运算符,便于进行复杂的文本处理;

awk按照行处理文本,逐行扫描,默认从第一行到最后一行,找到匹配到特定行,并进行相关操作;

awk分别代表其作者姓氏的第一个字母。因为它的作者是三个人,分别是Alfred Aho、Brian Kernighan、Peter Weinberger。

语法格式:

awk 选项 'commands' 文件名

常用选项:
-F  定义字段分割符号,默认的分隔符是空格
-v  定义变量并赋值

-F: 是以:将源文件分隔

/root/匹配源文件中包括root的行,打印出文件名,如果不进行匹配,则源文件有多少行就打印出多少行文件名

$0打印出匹配到行的全部内容

awk内置变量

变量

变量说明

$0

当前处理行的所有记录

1,1,2,3...3...n

文件中每行以间隔符号分割的不同字段

NF

当前记录的字段数(列数)

$NF

最后一列

NR

行号

FS

定义间隔符

OFS

定义输出字段分隔符,默认空格

RS

输入记录分割符,默认换行

ORS

输出记录分割符,默认换行

FILENAME

当前输入的文件名

打印列数、最后一列、第1列、第2列、倒数第二列。

打印第1行到第5行。

用分号;分隔开两部分匹配规则,可以理解为或的关系,前面是匹配1-5行,后面是匹配以root开头的行,是前3行。一共输出8行。

格式化输入printf

%s字符串类型占位符,默认右对齐,前面加负号-左对齐。

awk中BEGIN...END使用

BEGIN:表示在程序开始前执行

END:表示所有文件处理完后执行

用法:'BEGIN{开始处理之前};{处理中};END{处理结束后}'

awk -F: 'BEGIN{print "NAME\tDIR\tSHELL\n***************************************"}{printf "%-10s %-10s %-10s\n",$1,$(NF-1),$NF}END{print "****************************************"}' input.txt

间隔符

BEGIN{FS=":"}相当于使用选项-F:

OFS输出间隔为两个制表符\t。

输入内容以@分隔。

输出内容指定以"++++"分隔。

awk工作原理

  1. awk使用一行作为输入,并将这一行赋给内部变量$0,每一行也可称为一个记录,以换行符(RS)结束
  2. 每行被间隔符==:==(默认为空格或制表符)分解成字段,每个字段存储在已编号的变量中,从$1开始
  3. 问:awk如何知道用空格来分隔字段的呢?
  4. 答:因为有一个内部变量FS来确定字段分隔符。初始时,FS赋为空格。
  5. awk使用print函数打印字段,打印出来的字段会以空格分隔,比如1,1,3之间有一个逗号,但是逗号比较特殊,它映射为另一个内部变量,称为输出字段分隔符OFS,OFS默认为空格。
  6. awk处理完一行后,将从文件中获取另一行,并将其存储在$0中,覆盖原来的内容,然后将新的字符串分隔成字段并进行处理,该过程将持续到所有行处理完毕。

awk变量定义

调用awk中变量不需要加$。

逻辑运算符

使用或||运算符打印第1行和第4行。

匹配1-4行或者以hioiei开头的行。

流程控制

awk的流程控制和一般编程语言中的逻辑一样,包括选择结构和循环结构,用于处理复杂的命令逻辑。

if条件判断

单分支结构:
{if(表达式){语句1;语句2;...}}
双分支结构:
{if(表达式){语句;语句;...}else{语句;语句;...}}
多分支结构:
{ if(表达式1){语句;语句;...}else if(表达式2){语句;语句;...}else if(表达式3){语句;语句;...}else{语句;语句;...}}

循环结构

while循环打印1-10

for循环打印1-10并求和,结果55。

break跳出整个循环,continue跳出本次循环,继续进入下一次循环,由于本次结束后,i并没有加1,因此程序一直卡住。

思考,如何调整循环体的顺序?使得跳出本次循环后,进入下一次循环。

算术运算

awk按照浮点数进行数学运算。

脚本运行

#!/usr/bin/awk -f

BEGIN{FS=":"}
NR=1,NR=3{print $1"\t"$NF}

运行:

1.awk -f awk.sh input.txt
2.awk -f awk.sh input.txt


相关推荐

相关推荐

HR必备Excel函数:4个与日期相关的计算函数。

提到日期函数,很多人首先会想到“today”,它可以显示当天的日期,并且每次打开表格时都会自动更新。但是,对于前天、昨天、明天和后天的日期,就不能用yesterday或者tomorrow等这些英文了,...

这篇文章有点长,但可以让你十分钟玩转Excel的时间函数

日期与时间函数——TODAY、NOW、YEAR、MONTH、DAY!如何用WORKDAY函数查询距离某天的第20个工作日是哪一天?如何用NETWORKDAYS函数查询员工工作了多少个工作日?如何用WE...

Excel2020年日历套装,表格设计,农历显示,查阅套打轻松应用

Hello大家好,我是帮帮。今天跟大家分享一组Excel2020年日历套装,表格设计,自带农历控件,查阅套打轻松应用。有个好消息!为了方便大家更快的掌握技巧,寻找捷径。请大家点击文章末尾的“了解更多”...

巧用NETWORKDAYS函数计算两个日期之间工作日的天数

带有日期的单元格是我们日常使用EXCEL的时候经常见到的,有的时候我们需要求出两个日期之间间隔的天数,可以直接用结束日期减去开始日期即可,这是个非常简单的减法公式。不过这个单纯的减法公式会默认去掉开始...

Excel按工作日、休息日进行汇总

1、按周六日/其它时间汇总为了区分一周的周六日和其它时间,可以使用WEEKDAY函数,把WEEKDAY函数的第2个参数指定为2,如WEEKDAY(A3,2),则周一返回1,周二返回2,…,周六返回...

如何计算每月应出勤天数,如有法定假期和调休,如何计算

本文介绍如何计算每月的应出勤天数。第一部分介绍正常双休制下计算应出勤天数;第二部份介绍当月有法定假期和调休的情况下计算应出勤天数。一、计算正常双休制的应出勤天数如下图所示,要求计算各员工2021年3月...

《Excel一键生成工作日历:让会议排期更轻松!》

每当需要安排会议时,总要翻看日历确认工作日,再逐个标注会议时间,既耗时又容易出错。今天教大家用Excel快速生成工作日历表,让会议排期变得简单高效!一、快速生成日历框架创建基础日期:在A1单元格输入月...

如何计算指定日期区间内,有多少工作日和休息日?

大家好,今天咱们要解决的问题是如何计算给定的一段日期内,正常工作日有多少天,放假时间有多少天?比如咱们要计算2025年3月份工作日一共有多少天,又有多少天放假,如下图所示:通过肉眼我们可以数清楚,20...

如何如何在表格中自动突出显示双休日?

现在不少人喜欢用Excel来制作备忘录或安排工作事项。在表格中输入日期后,可以使用条件格式突出显示双休日,避免在休息日安排了工作。具体方法是这样的:第1步:选择要设置条件格式的日期单元格区域;在“开始...

excel函数技巧:networkdays.intl判断节假日

如图,想知道6月的每一天是否是节假日,公式如下:=NETWORKDAYS.INTL(A2,A2,1,$E$2:$E$28)这个函数既可以判断当前日期(一参=二参)是否是周末及工作日(三参、四参)还可得...

仅需3步,让考勤表根据实际休息日,自动地填充颜色

Hello,大家好,之前跟大家分享了我们如何让考勤表根据单休与双休自动的填充颜色,最近有粉丝问到:能不能让考勤表根据实际的休息日自动的填充颜色呢?可以是可以,只不过因为牵扯到假期调休,我们每年的休息日...

5步搞定动态考勤表!标记节假日、调休日?Excel自动变色!

今天教你用「动态考勤表」一招解决所有问题!只需输入月份,自动变色、自动更新节假日,从此告别加班,效率翻倍!动态考勤表的优势:自动变色:节假日、双休日一键标记,颜色分明。一表多用:修改月份即可...

一起用python做个炫酷音乐播放器,想听啥随便搜

前言前段时间写的Python自制一款炫酷音乐播放器,有不少小伙伴私信我,对播放器提了不少改进建议,让我完善播放器的功能。今天音乐播放器2.0版本完成了,大家一起来看看是如何用python自制一款炫酷的...

用Python做个“冰墩墩雪容融”桌面部件(好玩又有趣)

桌面太单调?今天就带大家,一起用Python的PyQt5开发一个有趣的自定义桌面动画挂件,看看实现的动画挂件效果!下面,我们开始介绍这个自定义桌面动画挂件的制作过程。一、核心功能设计实现将动态图gif...

Python串口调试助手源码分享

以下是一个基于Python和PyQt5实现的串口调试助手示例,包含核心功能实现代码:pythonimportsysimportserialfromPyQt5.QtCoreimportQTim...