19. 硬盘监控

dnf install -y smartmontools sysstat iotop

# 扫描系统中所有支持 SMART 的磁盘
smartctl --scan

# 查看磁盘基本信息（型号、序列号、固件版本、接口类型）
smartctl -i /dev/sda

# 确认 SMART 支持状态
smartctl -i /dev/sda | grep -E "SMART support|Device Model|Capacity|Interface"

# 最简健康检查（结果只有 PASSED 或 FAILED）
smartctl -H /dev/sda

# 查看完整 SMART 属性（所有监控指标及阈值）
smartctl -A /dev/sda

# NVMe SSD 查看方式
smartctl -A /dev/nvme0

# 快速提取关键健康指标
smartctl -A /dev/sda | grep -E \
  "Reallocated_Sector|Current_Pending|Offline_Uncorrectable|Temperature|Power_On_Hours"

# 短测试（1–2 分钟，检查最关键部分，可在业务低峰随时执行）
smartctl -t short /dev/sda

# 等待约 2 分钟后查看测试结果
smartctl -l selftest /dev/sda

# 长测试（数小时，全盘扫描，须在计划维护窗口内执行）
smartctl -t long /dev/sda

# 查看所有历史测试结果
smartctl -l selftest /dev/sda

# 备份默认配置
cp /etc/smartd.conf /etc/smartd.conf.orig

vim /etc/smartd.conf

# 监控 /dev/sda
# -a     监控所有 SMART 属性，任何属性值恶化时告警
# -o on  启用自动离线测试（后台静默执行，对性能影响极小）
# -S on  启用自动属性保存（保存历史数据用于趋势分析）
# -s     定期自检计划：每天凌晨 02:00 执行短测试，每周日凌晨 04:00 执行长测试
# -m     故障告警邮件发送至 root（需配置 MTA，如 Postfix）
# -M     告警策略：diminishing = 首次告警后，相同问题的重复告警间隔递增

/dev/sda -a -o on -S on \
  -s (S/../.././02|L/../../7/04) \
  -m root \
  -M diminishing

格式：类型/月/日/星期/小时
S = Short（短测试），L = Long（长测试），. = 任意值

S/../.././02    每天（任意月任意日任意星期）凌晨 02:00 执行短测试
L/../../7/04    每周日（星期 7）凌晨 04:00 执行长测试

# 启用并启动 smartd
systemctl enable --now smartd
systemctl status smartd

# 验证 smartd 已开始监控
journalctl -u smartd -n 20

systemctl enable --now sysstat
systemctl status sysstat

# 配置历史数据保留策略
vim /etc/sysconfig/sysstat

# 保留 30 天的历史采集数据（默认 7 天）
HISTORY=30

# 超过 10 天的历史数据自动压缩节省空间
COMPRESSAFTER=10

systemctl restart sysstat

# 验证历史数据目录
ls -lh /var/log/sa/

# 每 5 秒刷新，显示扩展磁盘统计（含详细 I/O 指标）
iostat -dx 5

# 仅查看特定磁盘
iostat -dx 5 /dev/sda

# 以 MB/s 为单位显示吞吐量
iostat -dm 5

# 查看今日磁盘 I/O 历史（每 10 分钟一条采样记录）
sar -d -p 1 5

# 查看指定日期历史数据（如每月 23 日）
sar -d -p -f /var/log/sa/sa23

# 查看今日 CPU 历史
sar -u

# 查看今日内存历史
sar -r

# 查看今日网络 I/O 历史
sar -n DEV

# 生成今日完整性能报告
sar -A > /tmp/sar-report-$(date +%F).txt

# 实时显示有 I/O 活动的进程（-o 仅显示有活动的）
iotop -o

# 非交互模式：采集 5 次，每次间隔 2 秒
iotop -o -b -d 2 -n 5

# 查看所有文件系统使用情况（含类型）
df -hT

# 查看 inode 使用情况（inode 耗尽与空间耗尽同样危险）
df -i

# 逐层定位大目录
du -sh /var/* | sort -rh | head -10
du -sh /var/log/* | sort -rh | head -10

# 查找大于 100 MB 的文件
find / -xdev -type f -size +100M \
  -exec ls -lh {} \; 2>/dev/null | sort -rk5 | head -20

tee /usr/local/bin/disk-alert.sh << 'EOF'
#!/bin/bash
# 磁盘空间告警脚本
# 当任意挂载点使用率超过阈值时写入 syslog 和告警日志

THRESHOLD=80
LOG="/var/log/disk-alert.log"

df -hTP | tail -n +2 | grep -v tmpfs | while read line; do
    USAGE=$(echo "$line" | awk '{print $6}' | tr -d '%')
    MOUNT=$(echo "$line" | awk '{print $7}')
    FS=$(echo "$line" | awk '{print $3}')

    if [ -n "$USAGE" ] && [ "$USAGE" -ge "$THRESHOLD" ] 2>/dev/null; then
        MSG="DISK ALERT: ${MOUNT} (${FS}) usage is ${USAGE}% (threshold: ${THRESHOLD}%)"
        logger -t disk-alert -p local0.warn "$MSG"
        echo "$(date '+%F %T') $MSG" >> "$LOG"
    fi
done
EOF

chmod +x /usr/local/bin/disk-alert.sh

tee /etc/systemd/system/disk-alert.service << 'EOF'
[Unit]
Description=Disk Space Alert Check

[Service]
Type=oneshot
ExecStart=/usr/local/bin/disk-alert.sh
StandardOutput=journal
StandardError=journal
EOF

tee /etc/systemd/system/disk-alert.timer << 'EOF'
[Unit]
Description=Disk Space Alert Timer
Requires=disk-alert.service

[Timer]
OnBootSec=5min
OnUnitActiveSec=30min
Persistent=true

[Install]
WantedBy=timers.target
EOF

systemctl daemon-reload
systemctl enable --now disk-alert.timer

# 手动触发一次测试
systemctl start disk-alert.service
journalctl -u disk-alert.service -n 10

# 查看 Node Exporter 采集的磁盘 I/O 指标
curl -s http://localhost:9100/metrics | grep "^node_disk" | head -20

# 文件系统空间指标
curl -s http://localhost:9100/metrics | grep "node_filesystem_avail_bytes"

# 磁盘 I/O 时间指标
curl -s http://localhost:9100/metrics | grep "node_disk_io_time_seconds_total"

# 根分区使用率（百分比）
100 - (
  node_filesystem_avail_bytes{mountpoint="/",fstype!="tmpfs"}
  * 100
  / node_filesystem_size_bytes{mountpoint="/",fstype!="tmpfs"}
)

# 磁盘 I/O 利用率（过去 5 分钟平均，百分比）
rate(node_disk_io_time_seconds_total{device="sda"}[5m]) * 100

# 磁盘读取速率（MB/s）
rate(node_disk_read_bytes_total{device="sda"}[5m]) / 1024 / 1024

# 磁盘写入速率（MB/s）
rate(node_disk_written_bytes_total{device="sda"}[5m]) / 1024 / 1024

tee -a /etc/prometheus/rules/disk-alerts.yml << 'EOF'

      - alert: DiskIOHigh
        expr: rate(node_disk_io_time_seconds_total{device="sda"}[5m]) * 100 > 80
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "磁盘 I/O 利用率过高 ({{ $labels.instance }})"
          description: "磁盘 {{ $labels.device }} I/O 利用率超过 80%，当前值: {{ $value | printf \"%.1f\" }}%"

      - alert: DiskWillFillIn24h
        expr: >
          predict_linear(
            node_filesystem_avail_bytes{mountpoint="/",fstype!="tmpfs"}[6h],
            24 * 3600
          ) < 0
        for: 30m
        labels:
          severity: critical
        annotations:
          summary: "磁盘预计 24 小时内写满 ({{ $labels.instance }})"
          description: "根据当前 6 小时写入趋势，根分区预计在 24 小时内耗尽空间"
EOF

systemctl reload prometheus

# 综合磁盘诊断一键脚本
echo "=== SMART 健康状态 ===" && smartctl -H /dev/sda
echo "=== 磁盘空间使用 ===" && df -hT
echo "=== 当前 I/O 状态 ===" && iostat -dx 1 3 | tail -10
echo "=== 近期 I/O 历史 ===" && sar -d 1 5 2>/dev/null | tail -10