mirrormaker

Kafka MirrorMaker 跨集群复制

补充说明

MirrorMaker 把一个 Kafka 集群的 topic 复制到另一个集群。MM2 基于 Kafka Connect，支持双向复制、offset 同步和消费者组迁移；旧版 kafka-mirror-maker.sh 已不推荐。

常用示例

connect-mirror-maker.sh mm2.properties
kafka-mirror-maker.sh --consumer.config source.properties \
  --producer.config target.properties --whitelist 'app.*'

mm2.properties 要点：

clusters = source, target
source.bootstrap.servers = source:9092
target.bootstrap.servers = target:9092
source->target.enabled = true
source->target.topics = app\..*
replication.factor = 3
checkpoints.topic.replication.factor = 3
offset-syncs.topic.replication.factor = 3
sync.topic.acls.enabled = true
refresh.topics.interval.seconds = 60

易错点与排错

• 复制方向、集群别名和 topic 正则要写对；source->target 不能颠倒。
• 内部 topic（checkpoints、offset-syncs、heartbeats）需要足够副本。
• 消费者组 offset 同步不等于组自动迁移；切换前要验证。
• 双向复制可能形成循环；避免同一 topic 双向复制。
• 安全集群要配置 SASL/TLS，源和目标分别设置。
• 大规模复制会占带宽；限制 topic 范围和吞吐。
• 首次启动会从最早或最新开始，按 auto.offset.reset 确认。

相关命令

• kafka-broker — 集群
• kafka-topics — topic 管理
• kcat — 复制验证