etcd-slow

etcd 请求变慢

现象

kubectl 操作卡顿，API Server 延迟升高，etcd 日志出现 slow fdatasync、apply request took too long 或 leader changed；集群创建/更新资源超时。

快速定位

etcdctl endpoint health --cluster
etcdctl endpoint status --cluster -w table
etcdctl check perf

查看磁盘和 fsync 延迟：

iostat -xz 1
fio --rw=write --ioengine=sync --fdatasync=1 --bs=2300 --size=22m --runtime=10 --time_based --name=etcd-fsync

查看 etcd 日志：

journalctl -u etcd --since '30 min ago' | grep -iE 'slow|leader|compact|defrag'

常见根因

• 磁盘 IOPS 不足或 fsync 延迟高，etcd 写入慢。
• 数据库过大且未 compact/defrag。
• 网络延迟或丢包，leader 选举频繁。
• 请求量过大，客户端没有限流。
• 单节点 etcd 或节点资源不足。
• 快照备份与业务写竞争磁盘。

修复

• 使用低延迟 SSD/NVMe，etcd 数据目录独立磁盘。
• 定期 compact 和 defrag，在低峰期逐节点执行。
• 增加 etcd 节点到 3 或 5 个，分布在不同故障域。
• 限制 API Server 和控制器并发，避免大量 LIST/WATCH。
• 调整 --quota-backend-bytes 并监控 DB 大小。
• 备份/快照避开业务高峰。

相关命令

• etcdctl — 健康、状态、compact、defrag
• kubectl — 检查 API 延迟
• iostat / fio — 磁盘延迟
• journalctl — etcd 日志