百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

Linux 三剑客 awk 还有哪些高级用法?

liuian 2025-04-08 16:04 22 浏览

awk 是 Linux 中强大的文本处理工具,除了基本用法外,还有许多高级功能。以下是一些常见的高级用法:

awk

1.使用内置变量

awk 提供了多个内置变量,如 NR(当前记录号)、NF(当前记录的字段数)、FS(字段分隔符)等。

  • 示例:打印文件行号及内容
awk '{print NR, $0}' file.txt
  • 示例:打印每行的最后一个字段
awk '{print $NF}' file.txt

2.自定义字段分隔符

通过 -F 选项或 FS 变量,可以指定字段分隔符。

  • 示例:使用逗号作为分隔符
awk -F, '{print $1, $2}' file.csv
  • 示例:在脚本中设置分隔符
awk 'BEGIN {FS=","} {print $1, $2}' file.csv

3.使用条件语句

awk 支持 if-else 等条件语句,用于根据条件处理数据。

  • 示例:打印第一字段大于 10 的行
awk '{if ($1 > 10) print $0}' file.txt
  • 示例:根据条件输出不同内容
awk '{if ($1 > 10) print "High"; else print "Low"}' file.txt

4.使用循环

awk 支持 forwhile 循环,适合处理数组或重复操作。

  • 示例:打印每行的所有字段
awk '{for (i=1; i<=NF; i++) print $i}' file.txt
  • 示例:计算字段总和
awk '{sum=0; for (i=1; i<=NF; i++) sum+=$i; print sum}' file.txt

5.使用数组

awk 支持关联数组,适合统计和分组操作。

  • 示例:统计字段出现次数
awk '{count[$1]++} END {for (item in count) print item, count[item]}' file.txt
  • 示例:按字段分组求和
awk '{sum[$1]+=$2} END {for (item in sum) print item, sum[item]}' file.txt

6.使用内置函数

awk 提供了多种内置函数,如 lengthsubstrgsub 等。

  • 示例:计算每行长度
awk '{print length($0)}' file.txt
  • 示例:替换字符串
awk '{gsub(/foo/, "bar"); print $0}' file.txt

7.多文件处理

awk 可以同时处理多个文件,通过 FILENAME 变量获取当前文件名。

  • 示例:打印文件名及内容
awk '{print FILENAME, $0}' file1.txt file2.txt

8.BEGIN 和 END 块

BEGINEND 块分别用于在处理前后执行操作。

  • 示例:打印开始和结束信息
awk 'BEGIN {print "Start"} {print $0} END {print "End"}' file.txt
  • 示例:计算总和
awk '{sum+=$1} END {print sum}' file.txt

9.输出重定向

awk 支持将输出重定向到文件。

  • 示例:将输出写入文件
awk '{print $0 > "output.txt"}' file.txt

10.使用正则表达式

awk 支持正则表达式匹配。

  • 示例:匹配包含 "error" 的行
awk '/error/ {print $0}' file.txt
  • 示例:匹配以数字开头的行
awk '/^[0-9]/ {print $0}' file.txt

11.多行记录处理

通过设置 RS(记录分隔符),可以处理多行记录。

  • 示例:处理以空行分隔的多行记录
awk 'BEGIN {RS=""; FS="\n"} {print $1, $2}' file.txt

12.自定义输出格式

使用 printf 可以格式化输出。

  • 示例:格式化输出
awk '{printf "Name: %-10s Age: %d\n", $1, $2}' file.txt

13.处理命令行参数

通过 ARGCARGV 可以访问命令行参数。

  • 示例:打印命令行参数
awk 'BEGIN {for (i=0; i<ARGC; i++) print ARGV[i]}' file1.txt file2.txt

14.使用 getline 读取额外行

getline 用于读取额外行,适合处理复杂文本。

  • 示例:读取下一行并处理
awk '{print $0; getline; print $0}' file.txt

15.处理二进制数据

通过 strtonum 函数可以处理二进制数据。

  • 示例:将二进制字符串转换为十进制
awk '{print strtonum("0x" $1)}' file.txt

还是那句话:干中学,学中干

如果觉得不错的话,麻烦点个关注,收藏谢谢。

毕竟:

我太想进步了

相关推荐

2023年最新微信小程序抓包教程(微信小程序 抓包)

声明:本公众号大部分文章来自作者日常学习笔记,部分文章经作者授权及其他公众号白名单转载。未经授权严禁转载。如需转载,请联系开百。请不要利用文章中的相关技术从事非法测试。由此产生的任何不良后果与文...

测试人员必看的软件测试面试文档(软件测试面试怎么说)

前言又到了毕业季,我们将会迎来许多需要面试的小伙伴,在这里呢笔者给从事软件测试的小伙伴准备了一份顶级的面试文档。1、什么是bug?bug由哪些字段(要素)组成?1)将在电脑系统或程序中,隐藏着的...

复活,视频号一键下载,有手就会,长期更新(2023-12-21)

视频号下载的话题,也算是流量密码了。但也是比较麻烦的问题,频频失效不说,使用方法也难以入手。今天,奶酪就来讲讲视频号下载的新方案,更关键的是,它们有手就会有用,最后一个方法万能。实测2023-12-...

新款HTTP代理抓包工具Proxyman(界面美观、功能强大)

不论是普通的前后端开发人员,还是做爬虫、逆向的爬虫工程师和安全逆向工程,必不可少会使用的一种工具就是HTTP抓包工具。说到抓包工具,脱口而出的肯定是浏览器F12开发者调试界面、Charles(青花瓷)...

使用Charles工具对手机进行HTTPS抓包

本次用到的工具:Charles、雷电模拟器。比较常用的抓包工具有fiddler和Charles,今天讲Charles如何对手机端的HTTS包进行抓包。fiddler抓包工具不做讲解,网上有很多fidd...

苹果手机下载 TikTok 旧版本安装包教程

目前苹果手机能在国内免拔卡使用的TikTok版本只有21.1.0版本,而AppStore是高于21.1.0版本,本次教程就是解决如何下载TikTok旧版本安装包。前期准备准备美区...

【0基础学爬虫】爬虫基础之抓包工具的使用

大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬...

防止应用调试分析IP被扫描加固实战教程

防止应用调试分析IP被扫描加固实战教程一、概述在当今数字化时代,应用程序的安全性已成为开发者关注的焦点。特别是在应用调试过程中,保护应用的网络安全显得尤为重要。为了防止应用调试过程中IP被扫描和潜在的...

一文了解 Telerik Test Studio 测试神器

1.简介TelerikTestStudio(以下称TestStudio)是一个易于使用的自动化测试工具,可用于Web、WPF应用的界面功能测试,也可以用于API测试,以及负载和性能测试。Te...

HLS实战之Wireshark抓包分析(wireshark抓包总结)

0.引言Wireshark(前称Ethereal)是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包,并尽可能显示出最为详细的网络封包资料。Wireshark使用WinPCAP作为接口,直接...

信息安全之HTTPS协议详解(加密方式、证书原理、中间人攻击 )

HTTPS协议详解(加密方式、证书原理、中间人攻击)HTTPS协议的加密方式有哪些?HTTPS证书的原理是什么?如何防止中间人攻击?一:HTTPS基本介绍:1.HTTPS是什么:HTTPS也是一个...

Fiddler 怎么抓取手机APP:抖音、小程序、小红书数据接口

使用Fiddler抓取移动应用程序(APP)的数据接口需要进行以下步骤:首先,确保手机与计算机连接在同一网络下。在计算机上安装Fiddler工具,并打开它。将手机的代理设置为Fiddler代理。具体方...

python爬虫教程:教你通过 Fiddler 进行手机抓包

今天要说说怎么在我们的手机抓包有时候我们想对请求的数据或者响应的数据进行篡改怎么做呢?我们经常在用的手机手机里面的数据怎么对它抓包呢?那么...接下来就是学习python的正确姿势我们要用到一款强...

Fiddler入门教程全家桶,建议收藏

学习Fiddler工具之前,我们先了解一下Fiddler工具的特点,Fiddler能做什么?如何使用Fidder捕获数据包、修改请求、模拟客户端向服务端发送请求、实施越权的安全性测试等相关知识。本章节...

fiddler如何抓取https请求实现手机抓包(100%成功解决)

一、HTTP协议和HTTPS协议。(1)HTTPS协议=HTTP协议+SSL协议,默认端口:443(2)HTTP协议(HyperTextTransferProtocol):超文本传输协议。默认...