百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT知识 > 正文

新手必学:grep/awk/sed文本处理神器指南

liuian 2025-07-09 14:13 37 浏览

今天咱们聊个所有技术人都躲不掉的“体力活”——文本处理。是不是经常遇到这些糟心事?
服务器日志几千行,想找一条“ERROR”报错信息,手动翻到眼酸;配置文件改了10处,结果漏了一行,重启服务直接崩;想统计某个关键词出现次数,对着cat出来的文本干瞪眼……明明知道有工具能用,就是记不住命令,最后只能“暴力操作”!

别慌,今天咱就教你Linux文本处理的“三剑客”——grep、awk、sed。这三个命令能覆盖90%的文本操作需求,从找内容、提数据到改文本,分分钟从“手忙脚乱”变“从容高效”!


一、快速找内容:grep——文本搜索的“放大镜”

grep(全称“Global Regular Expression Print”)是Linux里最常用的“文本搜索神器”。它的核心功能是在文件(或命令输出)中按关键字/正则表达式匹配内容,并输出符合条件的行。

基础用法:grep [选项] 关键字 文件名。

举个栗子:

  • 你想在/var/log/nginx/access.log日志里找所有包含“404”的错误请求:
    grep "404" /var/log/nginx/access.log
    一行行报错信息立刻跳出来,比手动翻快100倍!
  • 你想找Nginx启动日志里“成功”的关键字,但日志里可能有“成功”或“Success”两种写法(大小写敏感):
    grep -i "成功" /var/log/nginx/start.log(-i表示忽略大小写)
  • 你想找最近30分钟内修改过的日志文件里的“timeout”错误(结合find实时搜索):
    find /var/log -name "*.log" -mtime 0 -exec grep "timeout" {} \;(-mtime 0表示最近1天,-exec是执行后续命令)

进阶技巧

  • 反向搜索(排除关键字):grep -v "success" log.txt(只显示不包含“success”的行);
  • 统计匹配行数:grep -c "error" log.txt(快速知道有多少处错误);
  • 递归搜索目录:grep -r "config" /etc(在/etc目录下所有文件里找“config”)。

二、精准提数据:awk——列提取的“瑞士军刀”

如果说grep是“找内容”,那awk就是“从内容里抠数据”。它擅长按列分割文本,并对每一列进行计算、过滤或格式化输出,特别适合处理结构化文本(比如日志、CSV文件、表格)。

基础用法:awk '条件 {动作}' 文件名。

举个栗子:

  • 你的Nginx日志格式是IP 身份标识 用户名 时间 请求 状态码 大小,想统计今天访问量最高的IP(前3名):
    awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 3
    (分解步骤:awk提取第1列IP → sort排序 → uniq -c统计次数 → sort -nr按次数倒序 → head -n 3取前3)
  • 你想从/etc/passwd文件里提取所有普通用户的用户名(第1列)和家目录(第6列),只显示这两列:
    awk -F ':' '{print $1, $6}' /etc/passwd(-F ':'指定分隔符为冒号)
  • 你想监控系统负载,从top命令输出里提取“load average”数值(第三列):
    top -bn1 | grep "load average" | awk '{print $10, $11, $12}'(-bn1表示后台运行一次,避免实时刷新干扰)

避坑提示

  • 分隔符别乱设:如果日志用空格分隔但有多个空格,用-F '[ ]+'(正则匹配多个空格)更准确;
  • 列号从1开始:$1是第一列,$0是整行,别记成0开始!

三、灵活改文本:sed——内容替换的“编辑器”

sed(全称“Stream Editor”)是Linux里的“流编辑器”,擅长对文本进行批量替换、删除、插入操作,尤其适合修改配置文件、清理日志冗余内容。

基础用法:sed [选项] '操作' 文件名。

举个栗子:

  • 你想把/etc/nginx/nginx.conf里的worker_processes 1;改成worker_processes 4;(调整进程数):
    sed -i 's/worker_processes 1;/worker_processes 4;/' nginx.conf(-i表示直接修改原文件,s/旧内容/新内容/是替换语法)
  • 你想删除日志文件app.log里所有包含“DEBUG”的调试信息(清理冗余):
    sed '/DEBUG/d' app.log > clean.log(d表示删除匹配行,>重定向到新文件,避免覆盖原文件)
  • 你想在hosts文件的每行末尾添加注释(比如# 2024-03更新),但跳过第一行(标题行):
    sed '1s/^/# /; 2,$s/$/ # 2024-03更新/' hosts(;分隔多个操作,1s/^/# /给第一行开头加# ,2,$表示从第二行到最后一行,s/$/...给行尾加内容)

注意:备份文件!
用sed -i直接修改原文件前,建议先备份:cp nginx.conf nginx.conf.bak,避免手滑改错导致服务崩溃!


三剑客的使用场景

  • 找内容:用grep快速定位关键字(日志分析、错误排查);
  • 提数据:用awk按列提取结构化数据(统计、报表生成);
  • 改文本:用sed批量替换/删除内容(配置修改、日志清理)。

这三个命令就像“文本处理的三板斧”,掌握后能解决90%的日常操作需求。下次再遇到“文本处理头大”的情况,先想想是用grep找、awk提还是sed改,效率直接翻倍!

#Linux##Linux必备##Linux使用技巧##Linux技巧#

相关推荐

教你把多个视频合并成一个视频的方法

一.情况介绍当你有一个m3u8文件和一个目录,目录中有连续的视频片段,这些片段可以连成一段完整的视频。m3u8文件打开后像这样:m3u8文件,可以理解为播放列表,里面是播放视频片段的顺序。视频片段像这...

零代码编程:用kimichat合并一个文件夹下的多个文件

一个文件夹里面有很多个srt字幕文件,如何借助kimichat来自动批量合并呢?在kimichat对话框中输入提示词:你是一个Python编程专家,完成如下的编程任务:这个文件夹:D:\downloa...

Java APT_java APT 生成代码

JavaAPT(AnnotationProcessingTool)是一种在Java编译阶段处理注解的工具。APT会在编译阶段扫描源代码中的注解,并根据这些注解生成代码、资源文件或其他输出,...

Unit Runtime:一键运行 AI 生成的代码,或许将成为你的复制 + 粘贴神器

在我们构建了UnitMesh架构之后,以及对应的demo之后,便着手于实现UnitMesh架构。于是,我们就继续开始UnitRuntime,以用于直接运行AI生成的代码。PS:...

挣脱臃肿的枷锁:为什么说Vert.x是Java开发者手中的一柄利剑?

如果你是一名Java开发者,那么你的职业生涯几乎无法避开Spring。它如同一位德高望重的老国王,统治着企业级应用开发的大片疆土。SpringBoot的约定大于配置、SpringCloud的微服务...

五年后,谷歌还在全力以赴发展 Kotlin

作者|FredericLardinois译者|Sambodhi策划|Tina自2017年谷歌I/O全球开发者大会上,谷歌首次宣布将Kotlin(JetBrains开发的Ja...

kotlin和java开发哪个好,优缺点对比

Kotlin和Java都是常见的编程语言,它们有各自的优缺点。Kotlin的优点:简洁:Kotlin程序相对于Java程序更简洁,可以减少代码量。安全:Kotlin在类型系统和空值安全...

移动端架构模式全景解析:从MVC到MVVM,如何选择最佳设计方案?

掌握不同架构模式的精髓,是构建可维护、可测试且高效移动应用的关键。在移动应用开发中,选择合适的软件架构模式对项目的可维护性、可测试性和团队协作效率至关重要。随着应用复杂度的增加,一个良好的架构能够帮助...

颜值非常高的XShell替代工具Termora,不一样的使用体验!

Termora是一款面向开发者和运维人员的跨平台SSH终端与文件管理工具,支持Windows、macOS及Linux系统,通过一体化界面简化远程服务器管理流程。其核心定位是解决多平台环境下远程连接、文...

预处理的底层原理和预处理编译运行异常的解决方案

若文章对您有帮助,欢迎关注程序员小迷。助您在编程路上越走越好![Mac-10.7.1LionIntel-based]Q:预处理到底干了什么事情?A:预处理,顾名思义,预先做的处理。源代码中...

为“架构”再建个模:如何用代码描述软件架构?

在架构治理平台ArchGuard中,为了实现对架构的治理,我们需要代码+模型描述所要处理的内容和数据。所以,在ArchGuard中,我们有了代码的模型、依赖的模型、变更的模型等,剩下的两个...

深度解析:Google Gemma 3n —— 移动优先的轻量多模态大模型

2025年6月,Google正式发布了Gemma3n,这是一款能够在2GB内存环境下运行的轻量级多模态大模型。它延续了Gemma家族的开源基因,同时在架构设计上大幅优化,目标是让...

比分网开发技术栈与功能详解_比分网有哪些

一、核心功能模块一个基本的比分网通常包含以下模块:首页/总览实时比分看板:滚动展示所有正在进行的比赛,包含比分、比赛时间、红黄牌等关键信息。热门赛事/焦点战:突出显示重要的、关注度高的比赛。赛事导航...

设计模式之-生成器_一键生成设计

一、【概念定义】——“分步构建复杂对象,隐藏创建细节”生成器模式(BuilderPattern):一种“分步构建型”创建型设计模式,它将一个复杂对象的构建与其表示分离,使得同样的构建过程可以创建...

构建第一个 Kotlin Android 应用_kotlin简介

第一步:安装AndroidStudio(推荐IDE)AndroidStudio是官方推荐的Android开发集成开发环境(IDE),内置对Kotlin的完整支持。1.下载And...