百度360必应搜狗淘宝本站头条
python判断字典是否为空crontab每周一执行aes和des区别安装指定版本npmadb pull
当前位置：网站首页 > IT知识 > 正文

Linux awk 命令详解

liuian 2024-12-14 13:32 40 浏览

简介

awk 是 Linux 中强大的文本处理工具，广泛用于模式匹配扫描，数据提取，文本操作。

使用场景：

  • 解析日志文件
  • 汇总数据
  • 格式化文本输出
  • 从文件中提取指定的信息

历史

awk 由三个人共同创造的，以三个人的 last name 的首字母组成

  • Alfred V. Aho
  • Peter J. Weinberger
  • Brian W. Kernighan

基本语法

awk 'pattern { action }' file

# pattern 是匹配的模式，如正则表达式
# action 是匹配后进行的操作，如：打印，修改等
# file 要操作的文件，如果不指定文件，则从标准输入中读取

核心概念

记录和字段

  • 记录：文件中的每一行作为一个记录
  • 字段：字段是记录的一部分，通过指定的分隔符分割，默认的分隔符是空格，可以通过 -F 选项自定义分隔符

其中，$1，$2，lt;n> 等代表第几个字段

$NF 代表最后一个字段，$0 代表所有记录，即全部内容

abc def，其中 abc 是一个字段，def 是一个字段

模式

可以是正则表达式、数字比较、条件判断等

要执行的操作

定义在花括号 {} 里面

常用示例

打印所有行数据

awk '{ print $0 }' file

打印指定的字段

awk '{ print $1, $3 }' file

# 打印每行的第一个和第三个字段

打印模式匹配的行

awk '/error/ { print $0 }' file

# 打印包含 error 文本的行

使用条件表达式

awk '$3 > 50 { print $1, $2 }' file

# 当第三个字段大于50时打印第一个和第二个字段

使用范围比较表达式

awk 'NR >= 5 && NR <= 10 { print $0 }' file

# NR表示行号
# 以上表示打印第五到第十行的内容

自定义字段分隔符

awk -F ',' '{ print $1, $2 }' file

# 此处指定分隔符为逗号

内建变量

  • $0：所有记录/全部内容
  • $1，$1,...：第几个字段
  • NF：当前行的字段数
  • NR：行号
  • FS：字段分隔符
  • OFS：输出的字段分隔符
  • RS：记录分隔符/行分隔符，默认 \n
  • ORS：输出的记录分隔符/行分隔符

高级用法示例

打印行号

awk '{ print NR, $0 }' file

统计字段

awk '{ sum += $3 } END { print "Total:", sum }' file

# 统计每行第三个字段之和

替换字段

awk '{$2 = "REPLACED"; print $0 }' file

# 替换每行的第二个字段值为 REPLACED

打印模式匹配到的行数

awk '/pattern/ { count++ } END { print count }' file

格式化输出

awk '{ printf "Line %d: %s\n", NR, $0 }' file

通过管道处理标准输入

cat file | awk '{ print $1, $2 }'

awk命令写到脚本里复用

新建 script.awk 文件，写入以下内容：

{ print $1, $NF }

使用 -f 执行脚本文件

awk -f script.awk file

相关推荐

【开源推荐】给大家推荐个基于ChatGPT的PHP开发库 openai-php-api

有了这个库大家就可以愉快的使用PHP对接chatGPT的官方接口了，至于对接了官方接口想要做什么就看你自己的啦环境要求PHP7.4或以上composer1.6.5以上支持框架Laravel、Sym...

3个最流行的大模型应用开发框架【LLM】

随着人工智能的能力，特别是大型语言模型(LLM)的不断发展和演变，开发人员正在寻求将AI功能整合到他们的应用程序中。虽然文本完成和摘要等简单任务可以通过直接调用OpenAI或Coher...

都说PHP性能差，但PHP性能真的差吗?

今天本能是想测试一个PDO持久化，会不会带来会话混乱的问题先贴一下PHP代码,代码丑了点，但是坚持能run就行，反正就是做个测试。<?php$dsn='mysql:host=l...

saas介绍和原理 · laravel-独立站-商城SaaS – 湾区梁工

SaaS就是多租户，一个应用可以分给很多用户使用，而应用只需要维护一个。那么应用就需要做好各种资源的隔离（数据库，文件，缓存，队列，后台，命令行等等）。有两种类型的多租户SaaS形式：1，单数据库Sa...

3分钟短文 | Laravel SQL筛选两个日期之间的记录，怎么写?

引言今天说一个细分的需求，在模型中，或者使用laravel提供的EloquentORM功能，构造查询语句时，返回位于两个指定的日期之间的条目。应该怎么写？本文通过几个例子，为大家梳理一下。学习时...

pip 2（根细胞吸收水借助pip2）

pip-h#-helppipdownload#下载.whl文件，然后是可以安装的UV：Python包管理神器-比pip快100倍安装方法Windows：1powershe...

想买《辐射4》的Pip-Boy特别版?那你可得抓紧点

今年秋天玩家就能够玩到《辐射4（Fallout4）》，而且还可以边玩这款游戏边把真实的Pip-Boy穿戴装置套在手上。最近，这款游戏的Pip-Boy特殊版本已经开放玩家在百思买、沃尔玛以及GameS...

PaddleOCR 介绍及部署（paddleocr 安装）

PaddleOCR是由百度飞桨（PaddlePaddle）团队开发的开源OCR工具包，凭借其高精度、多场景适应性和易用性，成为目前最受欢迎的光学字符识别工具之一。以下是其核心特点与技术亮点：一、...

从需求到技术落地:AI产品经理的技术同理心修炼

在当今快速发展的AI时代，产品经理的角色不再局限于需求收集与规划，还需要深入理解技术实现的边界与成本。本文以UnityML-Agents环境配置与寻路Demo实战为例，探讨AI产品经理如何通过亲身体...

在windows上设置python的环境（windows配置python环境）

上文安装好了python，再具体说下python语言的相关环境。#01关于PythonPython是一个高级别的、边运行边解释的、动态类型的编程语言，以简洁的语法、强大的功能和丰富的资源库而闻名。...

uv——Python开发栈中的高效全能小工具

每天写Python代码的同学，肯定都离不开pip、virtualenv、Poetry等基础工具，但是对这些工具可能是又恨又离不开。那么有什么好的替代呢，虫虫今天就给大家介绍一个替代他们的小工具uv，一...

数据驱动型Python应用开发框架:Taipy

1.介绍Taipy是一个用于构建数据驱动应用的Python框架。它允许开发者快速创建交互式数据应用，支持数据可视化、数据处理和自动化工作流。1.1Taipy核心特性低代码/无代码GUI开发数据...

推荐这几个Python实战项目，瞬间读懂Python!

推荐这几个Python实战项目，瞬间读懂Python！Python这玩意儿，说难不难，说简单吧也不是那么容易。我琢磨着，光看书学理论可不行，得动手写点东西才能真正掌握。今儿个我就给大伙儿推荐几个实战项...

Python项目源码加密部署方案（python源码加密工具）

保护Python代码的几种方式对代码进行混淆以降低源码可读性将py文件编译为二进制pyc文件使用Pyinstaller打包源码为二进制可执行文件使用PyArmor加密脚本将py/py...

史上最全!近万字梳理Python 开发必备的 os 模块(建议收藏)

点赞、收藏、加关注，下次找我不迷路一、开篇本文将带你深入探索os模块的核心功能，通过大量实际案例和代码示例，助你彻底掌握这个Python开发的必备神器。全文近万字，建议收藏后慢慢消化，用的时...

一周热门
最近发表
标签列表