从零搭建 Kafka 集群

适用场景

搭建 3 节点以上的 Kafka 集群，用于事件流、日志管道或数据集成。生产环境建议独立磁盘、监控和副本因子 3。

前置条件

• 3+ 台节点，时间同步，hostname/网络稳定。
• Java 17+（按 Kafka 版本要求）。
• 数据盘独立挂载，容量和 IOPS 满足保留策略。
• 防火墙放行 9092（客户端）和 controller/内部端口。

步骤

1. 安装 Kafka 并规划目录：

tar -xzf kafka_2.13-3.7.0.tgz -C /opt
mkdir -p /data/kafka

2. 配置 KRaft（推荐新集群）：

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
listeners=PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093
advertised.listeners=PLAINTEXT://kafka1:9092
log.dirs=/data/kafka

3. 格式化存储并启动：

kafka-storage.sh random-uuid
kafka-storage.sh format -t <uuid> -c config/kraft/server.properties
kafka-server-start.sh -daemon config/kraft/server.properties

4. 创建主题：

kafka-topics --bootstrap-server kafka1:9092 \
  --create --topic app-events --partitions 6 --replication-factor 3

5. 验证集群：

kafka-topics --bootstrap-server kafka1:9092 --describe
kcat -b kafka1:9092 -t app-events -P <<< '{"id":1}'
kcat -b kafka1:9092 -t app-events -C -o beginning -c 1

6. 配置监控（JMX exporter）、告警、备份和容量规划。

验证

• 所有 broker 在线，Topic ISR 完整。
• 生产/消费正常，跨节点副本同步。
• 单 broker 重启后副本自动恢复。
• 磁盘、JMX 指标和日志可观测。

回滚/重建

• 保留配置和数据目录。
• 测试集群可删除数据目录重建；生产必须先备份/确认副本。
• 变更 advertised.listeners 后客户端要重新连接。

常见坑

• advertised.listeners 写错会导致客户端能连上但拿不到元数据。
• node.id/controller quorum 配置不一致会无法启动。
• 副本因子不能超过 broker 数。
• 数据盘和系统盘混用会导致 I/O 争抢。
• 防火墙未放行 controller/内部端口会导致选主失败。
• 生产要监控 UnderReplicatedPartitions 和磁盘。

相关命令

• kafka-broker — 服务端
• kafka-topics — 主题
• kcat — 生产消费