on-call

值班轮换、告警分级与升级路径

补充说明

值班是一个系统：轮换、备份、告警质量、升级路径、交接和恢复时间都要设计。值班人只处理“需要人立即行动”的告警；能自动恢复或可以第二天处理的事件不应该半夜叫人。

告警必须带 runbook、影响说明和负责人。每周回顾误报和漏报，持续删除不可行动的告警。

常用示例

轮换表：

告警分级与升级：

Alertmanager 路由（以下写法适用于 0.22+，旧版本用 match / source_match）：

route:
  receiver: pager
  group_by: [alertname, cluster, service]
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers: ['severity="critical"']
      receiver: pager
    - matchers: ['severity="warning"']
      receiver: ticket

抑制规则（critical 抑制同服务的 warning）：

inhibit_rules:
  - source_matchers: ['severity="critical"']
    target_matchers: ['severity="warning"']
    equal: [alertname, service]

交接模板：

交接（2026-10-18 21:00 CST）
未闭环告警：payment 连接池 78%，观察中
进行中变更：order v3.2 金丝雀停在 25%
风险窗口：23:00 数据库备份
已知问题：search 副本重启会慢 3 分钟
下一班：@bob，备份 @carol

告警质量决策规则：

• 连续两周自动恢复且无人处理的告警，删除或降级。
• 同一条告警每月触发超过 10 次且无需行动，必须改造。
• 夜间 P3 告警默认静默，改为次日工单。
• 值班人连续两班处理超过 5 个 P1/P2，触发容量或架构复盘。

易错点与排错

• 所有告警都 page，导致“狼来了”，真正故障被忽略。
• 没有备份值班，主值班失联时无人接管。
• 升级路径只写在 wiki，电话和 IM 群已过期。
• 值班人同时承担项目交付，无法保证响应时间。
• 告警没有 runbook 链接，值班人靠搜索和猜。
• 交接只口头说“还在查”，未闭环事项和风险窗口丢失。
• 夜班后不安排恢复时间，长期疲劳导致误操作。
• 只统计告警数量，不统计可行动率和误报率。

读完自测

合上页面，先回答，再展开对照。

1. 什么样的告警不应该在夜间呼叫值班人？
2. P1 告警 15 分钟未止血应该做什么？
3. 交接至少需要包含哪些信息？

相关条目

• sre-oncall-checklist — 值班检查清单
• alertmanager — 告警路由与抑制
• incident-command — 事故指挥
• runbook — 告警对应处置
• toil — 减少重复值班工作