新手必学:grep/awk/sed文本处理神器指南
liuian 2025-07-09 14:13 51 浏览
今天咱们聊个所有技术人都躲不掉的“体力活”——文本处理。是不是经常遇到这些糟心事?
服务器日志几千行,想找一条“ERROR”报错信息,手动翻到眼酸;配置文件改了10处,结果漏了一行,重启服务直接崩;想统计某个关键词出现次数,对着cat出来的文本干瞪眼……明明知道有工具能用,就是记不住命令,最后只能“暴力操作”!
别慌,今天咱就教你Linux文本处理的“三剑客”——grep、awk、sed。这三个命令能覆盖90%的文本操作需求,从找内容、提数据到改文本,分分钟从“手忙脚乱”变“从容高效”!
一、快速找内容:grep——文本搜索的“放大镜”
grep(全称“Global Regular Expression Print”)是Linux里最常用的“文本搜索神器”。它的核心功能是在文件(或命令输出)中按关键字/正则表达式匹配内容,并输出符合条件的行。
基础用法:grep [选项] 关键字 文件名。
举个栗子:
- 你想在/var/log/nginx/access.log日志里找所有包含“404”的错误请求:
grep "404" /var/log/nginx/access.log
一行行报错信息立刻跳出来,比手动翻快100倍! - 你想找Nginx启动日志里“成功”的关键字,但日志里可能有“成功”或“Success”两种写法(大小写敏感):
grep -i "成功" /var/log/nginx/start.log(-i表示忽略大小写) - 你想找最近30分钟内修改过的日志文件里的“timeout”错误(结合find实时搜索):
find /var/log -name "*.log" -mtime 0 -exec grep "timeout" {} \;(-mtime 0表示最近1天,-exec是执行后续命令)
进阶技巧:
- 反向搜索(排除关键字):grep -v "success" log.txt(只显示不包含“success”的行);
- 统计匹配行数:grep -c "error" log.txt(快速知道有多少处错误);
- 递归搜索目录:grep -r "config" /etc(在/etc目录下所有文件里找“config”)。
二、精准提数据:awk——列提取的“瑞士军刀”
如果说grep是“找内容”,那awk就是“从内容里抠数据”。它擅长按列分割文本,并对每一列进行计算、过滤或格式化输出,特别适合处理结构化文本(比如日志、CSV文件、表格)。
基础用法:awk '条件 {动作}' 文件名。
举个栗子:
- 你的Nginx日志格式是IP 身份标识 用户名 时间 请求 状态码 大小,想统计今天访问量最高的IP(前3名):
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 3
(分解步骤:awk提取第1列IP → sort排序 → uniq -c统计次数 → sort -nr按次数倒序 → head -n 3取前3) - 你想从/etc/passwd文件里提取所有普通用户的用户名(第1列)和家目录(第6列),只显示这两列:
awk -F ':' '{print $1, $6}' /etc/passwd(-F ':'指定分隔符为冒号) - 你想监控系统负载,从top命令输出里提取“load average”数值(第三列):
top -bn1 | grep "load average" | awk '{print $10, $11, $12}'(-bn1表示后台运行一次,避免实时刷新干扰)
避坑提示:
- 分隔符别乱设:如果日志用空格分隔但有多个空格,用-F '[ ]+'(正则匹配多个空格)更准确;
- 列号从1开始:$1是第一列,$0是整行,别记成0开始!
三、灵活改文本:sed——内容替换的“编辑器”
sed(全称“Stream Editor”)是Linux里的“流编辑器”,擅长对文本进行批量替换、删除、插入操作,尤其适合修改配置文件、清理日志冗余内容。
基础用法:sed [选项] '操作' 文件名。
举个栗子:
- 你想把/etc/nginx/nginx.conf里的worker_processes 1;改成worker_processes 4;(调整进程数):
sed -i 's/worker_processes 1;/worker_processes 4;/' nginx.conf(-i表示直接修改原文件,s/旧内容/新内容/是替换语法) - 你想删除日志文件app.log里所有包含“DEBUG”的调试信息(清理冗余):
sed '/DEBUG/d' app.log > clean.log(d表示删除匹配行,>重定向到新文件,避免覆盖原文件) - 你想在hosts文件的每行末尾添加注释(比如# 2024-03更新),但跳过第一行(标题行):
sed '1s/^/# /; 2,$s/$/ # 2024-03更新/' hosts(;分隔多个操作,1s/^/# /给第一行开头加# ,2,$表示从第二行到最后一行,s/$/...给行尾加内容)
注意:备份文件!
用sed -i直接修改原文件前,建议先备份:cp nginx.conf nginx.conf.bak,避免手滑改错导致服务崩溃!
三剑客的使用场景
- 找内容:用grep快速定位关键字(日志分析、错误排查);
- 提数据:用awk按列提取结构化数据(统计、报表生成);
- 改文本:用sed批量替换/删除内容(配置修改、日志清理)。
这三个命令就像“文本处理的三板斧”,掌握后能解决90%的日常操作需求。下次再遇到“文本处理头大”的情况,先想想是用grep找、awk提还是sed改,效率直接翻倍!
相关推荐
- tplink登陆密码(tplink登录密码)
-
TP-LINK路由器默认的出厂登录用户名和密码均为小写字母“admin”。该密码是保护路由器免遭攻击的重要密码,忘记了登录的管理员密码,只能通过路由器的Reset复位键(部分路由器为Reset小孔)进...
- windows8中文版激活(windows8激活怎么操作)
-
要激活Windows8操作系统,可以按照以下步骤进行操作:1.打开“开始”菜单,点击桌面图标,进入桌面模式。2.从屏幕右侧滑动以打开“设置”栏,然后点击“更改PC设置”。3.在左侧导航栏中选择...
-
- 手机app怎么下载(手机app怎么下载安装)
-
每个手机上都有下载APP的应用商店,以下面为例演示,下载方法如下:1、首先在手机上找到并打开应用商店。2、接下来进入到应用商店之后,选择红色箭头所指处的搜索栏,搜索需要下载的应用。3、接下来会弹出搜索的应用,点击红色箭头所...
-
2026-01-13 23:37 liuian
- dell电脑蓝屏开不了机怎么办
-
电脑蓝屏的解决方法,先软件后硬件,一般软件问题比较多一点。1、最后一次正确的配置:在开机启动未进入到操作系统之前我们不停按下F8键,选择“最后一次正确的配置”然后回车即可。2、安全模式:如果“最后一次...
- 如何单独改c盘为mbr模式(如何c盘改为mbr分区 免格式化)
-
硬盘分为两种格式的分区,一种是GPT,一种是MBR,一般win7或者以下系统是安装在MBR分区中,而win8和win10一般是安装在gpt分区中的,这两个分区格...
- win7activation解压密码(windows7解压文件去哪里了)
-
若使用的是vivo手机,忘记vivo账号密码、锁屏密码,可携带手机、身份证、有效的购机凭证前往服务中心处理,进入浏览器搜索vivo官网--服务--服务中心--查看全部--选择省市查询当地的服务中心地址...
- 移动固态硬盘排行榜(移动固态硬盘排行榜前十名)
-
西部数据。西部数据MyPassport随行SSD版。西数最主打的移动固态硬盘,如果在大促期间可以在900元以下的价格买到,搭载了NVMe技术,最大读速1050M/S,这是主流大厂速度在1050M/S...
- windows资源管理器怎么关闭(windows资源管理器关闭后电脑黑屏)
-
1、鼠标放在桌面,右击选中启动任务管理器。2、进入任务管理器之后,点击上方的进程,然后找explorer。3、鼠标右击explorer,选中结束进程。4、接着弹出弹框,确认结束进程,这样Windows...
- win10正版系统官网原版纯净版gho
-
下载Ghost版本的Win10的iso文件然后把这个iso文件解压出来然后使用搜索的方式搜索出.GHO文件就是你需要的win10.gho安装,这是系统的ghost文件,你可以选择制作pe系统u盘...
- 戴尔官方网站查询真伪(戴尔官方正品查询)
-
找到笔记本背面或底部的服务标签或快速服务代码(也可以跳过这步)。打开dell支持网页http://www.dell.com/support/home/cn/zh/cnbsd1?c=cn&l=z...
- 一周热门
-
-
飞牛OS入门安装遇到问题,如何解决?
-
如何在 iPhone 和 Android 上恢复已删除的抖音消息
-
Boost高性能并发无锁队列指南:boost::lockfree::queue
-
大模型手册: 保姆级用CherryStudio知识库
-
用什么工具在Win中查看8G大的log文件?
-
如何在 Windows 10 或 11 上通过命令行安装 Node.js 和 NPM
-
威联通NAS安装阿里云盘WebDAV服务并添加到Infuse
-
Trae IDE 如何与 GitHub 无缝对接?
-
idea插件之maven search(工欲善其事,必先利其器)
-
如何修改图片拍摄日期?快速修改图片拍摄日期的6种方法
-
- 最近发表
- 标签列表
-
- python判断字典是否为空 (50)
- crontab每周一执行 (48)
- aes和des区别 (43)
- bash脚本和shell脚本的区别 (35)
- canvas库 (33)
- dataframe筛选满足条件的行 (35)
- gitlab日志 (33)
- lua xpcall (36)
- blob转json (33)
- python判断是否在列表中 (34)
- python html转pdf (36)
- 安装指定版本npm (37)
- idea搜索jar包内容 (33)
- css鼠标悬停出现隐藏的文字 (34)
- linux nacos启动命令 (33)
- gitlab 日志 (36)
- adb pull (37)
- python判断元素在不在列表里 (34)
- python 字典删除元素 (34)
- vscode切换git分支 (35)
- python bytes转16进制 (35)
- grep前后几行 (34)
- hashmap转list (35)
- c++ 字符串查找 (35)
- mysql刷新权限 (34)
