toil

重复性运维工作的识别、量化与削减

补充说明

Toil 是手动、重复、可自动化、不产生长期价值，并随服务规模增长的工作。典型例子：手工扩容、证书续期、权限开通、日志清理、重复巡检。它不等于所有运维工作，故障排查和架构改进不属于 Toil。

Google SRE 建议 Toil 控制在总工作时间的 50% 以内。超过时应该冻结新需求排期，先做自动化或消除。

常用示例

Toil 清单与优先级：

量化公式：

# 月 Toil 占比 = Toil 小时 / 总工作小时
awk 'BEGIN {printf "Toil 占比: %.1f%%\n", 32/160*100}'
# 年化节省 = 月节省小时 × 12
awk 'BEGIN {printf "年化节省: %.0f 小时\n", 8*12}'

优先级 = 年化节省小时 × 自动化确定性 / 实现人日。优先做高频、短耗时、规则明确的任务。

从工单导出聚类：

jq -r '.[] | [.title, .duration_minutes] | @tsv' tickets.json |
awk -F'\t' '{h[$1]+=$2/60; n[$1]++}
END {for (t in h) printf "%s\t%d 次\t%.1f 小时\n", t, n[t], h[t]}' |
sort -k3 -nr

把命名空间开通自动化：

#!/usr/bin/env bash
set -euo pipefail
TEAM=$1
NS="team-${TEAM}"
kubectl create namespace "$NS" --dry-run=client -o yaml | kubectl apply -f -
kubectl -n "$NS" apply -f - <<EOF
apiVersion: v1
kind: ResourceQuota
metadata:
  name: default
spec:
  hard:
    requests.cpu: "20"
    requests.memory: 40Gi
    pods: "100"
EOF

自动化决策表：

易错点与排错

• 把所有重复工作都叫 Toil，忽略有长期价值的工程工作。
• 只统计次数不统计耗时和中断成本，优先级排错。
• 自动化一次性任务，投入大于收益。
• 自动化后无人维护，脚本腐烂比手工操作更危险。
• 用“加人”解决 Toil，指标不变，问题继续增长。
• Toil 集中在少数人，轮换后无人会做。
• 没有把 Toil 纳入排期，永远排在需求之后。
• 自动化绕过审批和审计，引入合规风险。

读完自测

合上页面，先回答，再展开对照。

1. 什么样的工作才算 Toil？
2. 团队 Toil 占比持续超过 50% 时应该怎么做？
3. 为什么“加人”不能解决 Toil？

相关条目

• runbook — 把高频处置脚本化
• internal-developer-platform — 自助服务减少人工
• on-call — 值班与告警负担
• sre-oncall-checklist — 值班检查
• platform-engineering-roadmap — 平台化削减 Toil