解决告警疲劳关键在于让每条告警都“值得看”，需通过精准降噪（动态基线+时间窗口过滤）、聚合同类、抑制衍生、分级响应四步闭环实现。

解决告警疲劳，关键不是少发告警，而是让每条告警都“值得看”。核心在于过滤噪音、聚合同类、抑制衍生、分级响应——四步闭环缺一不可。

精准降噪：告别静态阈值误报

云原生环境里，用“CPU > 80%”这种固定规则，等于每天定时制造干扰。真实业务有峰谷（如大促流量翻倍）、有抖动（GC导致1秒内存飙升），静态阈值必然失灵。

• 改用动态基线：Prometheus + Prometheus Alertmanager 配合 VictoriaMetrics 或内置的 predict_linear() 函数，自动学习过去7天同一时段的正常波动范围，告警只在显著偏离基线时触发
• 加时间窗口过滤：避免瞬时毛刺，例如写成 avg_over_time(node_cpu_seconds_total{mode="idle"}[5m]) ，而非单点采样
• 排除已知低风险场景：比如对突发性能型ECS实例，跳过CPU steal time告警；对只读副本数据库，放宽连接数告警阈值

智能分组：把10条同类告警压成1条

当user-api的3个Pod同时内存超标，你不需要收到3条钉钉消息——你需要一条含实例列表、趋势图和一键跳转链接的通知。

• Alertmanager中配置 group_by: ['alertname', 'service', 'environment']，确保同服务、同环境、同类型告警自动归并
• 设置合理等待时间：group_wait: 30s（收集新告警）、group_interval: 5m（同组再次通知间隔）
• 在Grafana告警面板中嵌入 {{ $value | humanizePercentage }} 和 {{ $labels.instance }}，让每条通知自带上下文，减少二次查证

依赖抑制：阻断告警链式爆炸

网络分区了，所有节点失联告警会瞬间刷屏；但真正该处理的，只有网络问题本身。低级告警必须被高级故障“压制”。

• 在 alertmanager.yml 中定义抑制规则：当 NetworkPartition 告警触发时，自动抑制所有 InstanceDown 和 NodeExporterDown
• 示例配置：

inhibit_rules:
  - source_match:
    alertname: NetworkPartition
    severity: critical
   target_match_re:
      alertname: InstanceDown|NodeExporterDown

• 注意：抑制规则需双向验证，避免误压。建议先在测试环境开启 --log.level=debug 观察匹配行为

分级响应：让P0故障秒达，P2预警静默归档

所有告警一个铃声，等于没有铃声。必须按影响定级，并绑定不同通道、不同超时、不同责任人。

• 定义三级标准：
  – P0（灾难）：全站不可用、支付中断、核心DB宕机 → 电话+短信+钉钉强提醒，1分钟内响应
  – P1（严重）：单服务降级、磁盘95%、连接池耗尽 → 钉钉+企业微信，15分钟内确认
  – P2（预警）：CPU持续85%、SWAP启用、inode使用率>80% → 邮件汇总，每日早会同步
• Alertmanager路由支持标签匹配：match: {severity="critical", team="payment"} 直接路由至支付组PagerDuty
• 所有通知模板强制携带：instance_id、availability_zone、近1小时指标折线图（Grafana snapshot link）