kafka-disk-full

Kafka Broker 磁盘写满的定位与处理

现象

broker 日志出现 Disk space is running out，producer 写入失败，分区 offline/under-replicated，严重时 broker 退出。

快速定位

df -h
du -sh /var/lib/kafka/data/*
kafka-log-dirs --bootstrap-server broker:9092 --describe
kafka-topics --bootstrap-server broker:9092 --describe

broker 日志：

journalctl -u kafka --since '30 min ago' | tail -100

常见根因

1. retention 配置过长或按大小保留未生效。
2. 日志段没有及时清理，或清理线程失败。
3. 多个 log.dirs 容量不均衡。
4. 副本/分区过多，单 broker 数据量过大。
5. 大消息或异常流量导致磁盘暴涨。

修复

• 先确认哪个 log.dir/分区占用最多，不要直接删数据文件。
• 调整 log.retention.hours/log.retention.bytes 并确认清理生效。
• 手动触发 kafka-delete-records 或滚动清理旧段（谨慎）。
• 扩容磁盘或迁移分区，平衡 broker 容量。
• 检查副本分配和 under-replicated 状态。
• 设置磁盘使用率告警和配额，避免再次写满。

相关命令

• kafka-broker — broker 配置
• kafka-topics — 分区与副本
• kafka-log-dirs — 日志目录