从 cgroup v1 迁移到 cgroup v2

适用场景

新内核/新发行版或 Kubernetes 1.25+ 节点启用统一 cgroup v2。v2 提供统一层级、更好的资源隔离和一致的统计接口。

前置条件

• 确认内核、systemd、容器运行时和 Kubernetes 版本支持 v2。
• 记录当前 cgroup 模式、监控指标和容器运行时配置。
• 准备节点重启窗口和回滚方案。

步骤

1. 确认当前模式：

stat -fc %T /sys/fs/cgroup
mount | grep cgroup
cat /proc/cgroups

cgroup2fs 表示已是 v2；多个 tmpfs 挂载通常是 v1。

2. 检查运行时和 K8s 支持：

containerd --version
crictl info | grep -i cgroup
kubelet --version

3. 启用统一层级（以 GRUB 为例）：

# /etc/default/grub
GRUB_CMDLINE_LINUX="systemd.unified_cgroup_hierarchy=1"

update-grub
reboot

4. 重启后验证：

stat -fc %T /sys/fs/cgroup
cat /sys/fs/cgroup/cgroup.controllers
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/cpu.max

5. 更新监控和容器配置：

• 内存指标从 memory.limit_in_bytes 改为 memory.max。
• CPU 配额从 cpu.cfs_quota_us 改为 cpu.max。
• 确认容器运行时使用 systemd cgroup 驱动。

验证

• 节点 Ready，Pod 正常创建。
• 容器内存/CPU limit 生效。
• 监控能采集到新的 cgroup 指标。
• OOM/throttling 统计正常。

回滚

• 移除 systemd.unified_cgroup_hierarchy=1，重启。
• 恢复监控采集路径和运行时配置。
• 注意 v2 下创建的 cgroup 状态在回滚后不保留。

常见坑

• 旧容器运行时可能不支持 v2；先升级。
• 混合模式下两套层级同时存在，排查要确认进程在哪个层级。
• 监控脚本硬编码 v1 路径会全部失效。
• Kubernetes 版本和 cgroup 驱动要匹配。
• 重启节点前先 drain，避免业务中断。

相关命令

• systemd-cgtop — cgroup 资源
• systemctl — 服务 cgroup
• crictl — 容器资源
• stat — cgroup 文件系统类型