debezium

Debezium CDC 变更数据捕获

补充说明

Debezium 通过 Kafka Connect 读取数据库的 binlog/WAL/oplog，把行级变更写入 Kafka。它支持 MySQL、PostgreSQL、MongoDB、SQL Server、Oracle 等。

常用示例

curl -X POST http://connect:8083/connectors \
  -H 'Content-Type: application/json' \
  -d @mysql-connector.json
curl -s http://connect:8083/connectors/mysql-source/status

MySQL 连接器要点：

{
  "name": "mysql-source",
  "config": {
    "connector.class": "io.debezium.connector.mysql.MySqlConnector",
    "database.hostname": "db",
    "database.port": "3306",
    "database.user": "debezium",
    "database.password": "secret",
    "database.server.id": "184054",
    "topic.prefix": "app",
    "database.include.list": "appdb",
    "schema.history.internal.kafka.bootstrap.servers": "kafka:9092",
    "schema.history.internal.kafka.topic": "schema-changes.app"
  }
}

易错点与排错

MySQL 要开启 binlog、binlog_format=ROW 和足够的保留时间。
PostgreSQL 要设置 wal_level=logical，并给表配置合适的 replica identity。
快照模式（initial/always/never）决定启动时是否全量扫描。
schema history topic 必须持久化；丢失后无法正确解析变更。
删除事件、tombstone 和 schema 演进要确认下游能处理。
大事务/DDL 可能产生巨大事件；限制批次和内存。
Debezium Server 适合无 Kafka Connect 的环境，配置模型不同。

debezium

补充说明

常用示例

易错点与排错

相关命令