Shell脚本编程进阶：sed与awk高级用法实战指南

一、sed与awk：文本处理的双子星

在Shell脚本的世界里，sed和awk就像瑞士军刀中的两把利刃，sed擅长流式编辑，awk精于字段处理。它们配合基础命令，能解决90%的文本处理需求。

bash

# sed基础示例：替换文本
echo "Hello World" | sed 's/World/Linux/'

# awk基础示例：提取字段
echo "Alice 25 F" | awk '{print $1 " is " $3}'

适用场景对比

二、sed高级用法实战

1. 多模式操作与地址定位

bash

# 同时执行多个替换（-e参数）
sed -e 's/foo/bar/' -e 's/hello/hi/' input.txt

# 特定行操作（地址定位）
sed '3,5s/old/new/' file.txt          # 只替换3-5行
sed '/pattern/s/old/new/' file.txt    # 匹配pattern的行才替换

2. 反向引用与分组

bash

# 重组日期格式（从YYYY-MM-DD到DD/MM/YYYY）
echo "2023-08-15" | sed -E 's/([0-9]{4})-([0-9]{2})-([0-9]{2})/\3\/\2\/\1/'

# 提取HTML标签内容
echo "<title>Shell编程</title>" | sed -E 's/<([^>]*)>([^<]*)<\/\1>/\2/'

3. 保持空间与模式空间（高级存储）

bash

# 交换相邻两行（使用保持空间）
sed -n '1{h;n};G;s/\n/ /;p' text.txt

# 删除重复行（相当于uniq）
sed '$!N; /^\(.*\)\n\1$/!P; D' duplicates.txt

sed常用参数对比表

三、awk高级用法实战

1. 字段处理与条件判断

bash

# 条件统计（统计大于阈值的行）
awk -v threshold=80 '$3 > threshold {count++} END {print count}' data.txt

# 字段重组（重新排列列顺序）
awk '{print $3, $1, $2}' names.txt

# 多字段分隔符（同时使用空格和冒号）
awk -F'[ :]' '{print $2, $4}' log.txt

2. 数组与统计运算

bash

# 词频统计（类似wordcount）
awk '{for(i=1;i<=NF;i++) count[$i]++} END {for(word in count) print word, count[word]}' text.txt

# 分组求和（按第一列分组，求第二列和）
awk '{sum[$1]+=$2} END {for(k in sum) print k, sum[k]}' sales.dat

3. 自定义函数与复杂逻辑

bash

# 定义并使用函数
awk '
function to_upper(str) {
    return toupper(str)
}
{print to_upper($1)}
' names.txt

# 处理多文件关联
awk 'NR==FNR {data[$1]=$2; next} $1 in data {print $0, data[$1]}' file1 file2

awk常用参数对比表

四、sed与awk联合实战

1. 日志处理流水线

bash

# 提取nginx日志中特定时间的IP地址
cat access.log | sed -n '/15\/Aug\/2023:14:/p' | awk '{print $1}' | sort | uniq -c | sort -nr

# 解析CSV并计算（处理带引号的字段）
sed 's/"//g' data.csv | awk -F, '{sum+=$3} END {print sum/NR}'

2. 数据格式转换

bash

# JSON转CSV（简化版）
sed 's/{//;s/}//;s/"//g' data.json | awk -F': ' '{gsub(/,/,"",$2); print $1","$2}'

# 固定宽度转分隔符
sed 's/  */,/g' fixed_width.txt | awk -F, '{print $2,$4,$6}'

联合使用场景对比

五、性能优化技巧

1. 处理大文件时的策略

bash

# 流式处理（避免内存问题）
sed 's/old/new/' bigfile.txt | awk '{print $2}' > result.txt

# 并行处理（使用GNU parallel）
parallel --pipe -k sed 's/old/new/' < bigfile.txt | awk '{print $3}'

2. 常用优化技巧对比

六、实战案例：Apache日志分析

1. 高频访问IP统计

bash

awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -10

# 增强版（包含时间过滤）
sed -n '/15\/Aug\/2023:1[4-5]/p' access.log | awk '{ip[$1]++} END {for(i in ip) print ip[i],i}' | sort -nr

2. 请求类型统计

bash

awk '{print $6}' access.log | sed 's/"//g' | sort | uniq -c

# 增强版（统计各类型流量）
awk '{gsub(/"/,"",$6); type[$6]++; size[$6]+=$10} END {for(t in type) print t,type[t],size[t]}' access.log

七、错误处理与调试

1. 常见问题排查表

2. 调试技巧

bash

# sed调试（显示处理过程）
sed -n 'p;l' file.txt

# awk调试（打印行号与字段）
awk '{print NR,NF,$0}' file.txt

# 逐步执行（复杂脚本）
awk -f script.awk --debug file.txt

八、扩展资源推荐

1.经典书籍：

《sed & awk》- Dale Dougherty

《Effective awk Programming》- Arnold Robbins

2.在线工具：

AWK在线测试器

正则表达式调试器

3.进阶方向：

GNU awk的扩展功能（时间处理、TCP/IP通信）

sed的标签跳转与分支控制

与Shell脚本的深度集成技巧

掌握这些sed和awk的高级用法后，你会发现大多数文本处理任务都能在几行命令内解决，无需动用Python等重型工具。

记住：文本处理三境界——能用grep的不用sed，能用sed的不用awk，能用awk的不用Python！