Linux 日志系统维护的实战示例，涵盖常见场景和工具：

1. 日志轮转与清理（Logrotate）

问题：系统 /var/log 空间不足，需定期切割和清理旧日志。

实战步骤：

1. 检查默认配置
   Logrotate 默认配置文件：

bash

cat /etc/logrotate.conf # 全局配置 ls /etc/logrotate.d/ # 应用特定配置（如nginx、syslog等）

2. 自定义日志轮转规则（以 Nginx 为例）
   创建文件 /etc/logrotate.d/nginx：

yaml

/var/log/nginx/*.log { daily # 每天轮转 missingok rotate 14 # 保留14天 compress # 压缩旧日志（gzip） delaycompress # 延迟压缩前一天的日志 notifempty # 空日志不处理 create 0640 nginx adm # 轮转后日志权限 sharedscripts # 执行统一脚本 postrotate sudo systemctl reload nginx # 触发日志文件重开 endscript }

3. 手动测试配置：

bash

logrotate -d /etc/logrotate.d/nginx # 调试模式（dry-run） logrotate -vf /etc/logrotate.d/nginx # 强制执行轮转

4. 清理历史日志

bash

find /var/log -name "*.log.*" -type f -mtime +30 -exec rm -f {} \; # 删除30天前的旧日志

2. 实时日志监控与分析

场景：快速定位应用程序或系统错误。

实战示例：

1. 使用 journalctl（systemd 日志）

bash

journalctl -u nginx -f # 实时跟踪 Nginx 日志 journalctl --since "2024-01-01" --until "2024-01-02" # 按时间过滤 journalctl -p err -b # 仅显示本次启动后的错误日志

2. 借助 grep 和 awk

bash

grep "ERROR" /var/log/syslog | awk '{print $5}' | sort | uniq -c # 统计错误关键词频率 tail -f /var/log/nginx/access.log | grep ' 500 ' # 实时监控 500 错误

3. 使用 multitail 工具

bash

sudo apt install multitail # Ubuntu/Debian sudo yum install multitail # CentOS multitail -i /var/log/nginx/access.log -i /var/log/nginx/error.log # 同时监控多个日志

3. 日志归档与备份

场景：长期保留日志用于审计或分析。

实战步骤：

1. 压缩历史日志

bash

tar -czvf /backup/logs-$(date +%Y%m%d).tar.gz /var/log/nginx/*.log.* # 压缩旧日志

2. 2同步到远程服务器（通过 rsync）

bash

rsync -avz /var/log/nginx/ user@remote-host:/backup/logs/ # 远程备份

3. 定时任务（Cron）
   编辑 crontab -e 添加：

bash

0 3 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nginx # 每天3点执行轮转 0 4 * * * tar -czvf /backup/logs-$(date +\%Y\%m\%d).tar.gz /var/log/nginx/*.log.*

4. 集中式日志管理（ELK Stack）

场景：多台服务器日志统一收集和分析。

实战步骤：

1. 安装 Filebeat（日志采集）

bash

# Ubuntu/Debian curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.1-amd64.deb sudo dpkg -i filebeat-8.11.1-amd64.deb # CentOS/RHEL curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.11.1-x86_64.rpm sudo rpm -vi filebeat-8.11.1-x86_64.rpm

2. 配置 Filebeat（/etc/filebeat/filebeat.yml）

yaml

filebeat.inputs: - type: filestream paths: - /var/log/nginx/*.log fields: service: nginx output.elasticsearch: hosts: ["elasticsearch-server:9200"] indices: - index: "nginx-%{+yyyy.MM.dd}"

3. 启动并验证

bash

sudo systemctl enable --now filebeat curl
http://elasticsearch-server:9200/_cat/indices?v # 检查索引是否生成

4. 在 Kibana 中可视化日志
   访问 http://kibana-server:5601，创建索引模式并制作仪表盘。

5. 日志安全与权限

场景：防止日志被篡改或泄露。

实战示例：

1. 日志文件权限加固

bash

chmod 640 /var/log/nginx/*.log # 仅允许 root 和 nginx 组访问 chown root:nginx /var/log/nginx/

2. 配置 auditd 监控关键日志

bash

sudo auditctl -w /var/log/nginx/ -p wa -k nginx_logs # 监控写和属性修改 sudo ausearch -k nginx_logs | aureport -f -i # 查询审计记录

3. 日志完整性校验（Tripwire 或 AIDE）

bash

# 使用 AIDE 安装与校验（以 Ubuntu 为例） sudo apt install aide -y aideinit && mv /var/lib/aide/aide.db.new /var/lib/aide/aide.db aide.wrapper --check # 定期检查文件篡改

6. 日志故障排查示例

问题：系统出现大量 Out of memory 错误。
排查步骤：

1. 快速定位关键日志

bash

journalctl --since "10 min ago" | grep -i "out of memory"

2. 分析进程内存使用

bash

grep -i "oom" /var/log/kern.log # 查看内核 OOM Killer 日志 ps -eo pid,user,%mem,command --sort=-%mem | head -n 10 # 显示内存占前10的进程

3. 生成自动化警报脚本

bash

# 检查内存不足错误并发送邮件 if grep -q "Out of memory" /var/log/syslog; then echo "系统出现 Out of Memory 错误！" | mail -s "OOM Alert" admin@example.com fi

注意事项

1. 日志保留策略：根据合规要求（如 GDPR）设置保留周期。
2. 定期验证：检查 Logrotate 是否生效，避免日志堆积。
3. 性能影响：集中式日志系统（如 ELK）需确保足够的存储和网络带宽。
4. 敏感信息脱敏：避免在日志中记录密码、密钥等敏感数据。