搭建 Airflow 调度平台

适用场景

需要编排批处理、ETL、数据同步和定时任务。Airflow 用 Python DAG 描述依赖，支持回填、重试、告警和多种 Executor。

前置条件

• Kubernetes 集群和 Helm。
• PostgreSQL 作为元数据库。
• 对象存储或共享存储存放日志和 DAG。
• 明确的 Executor 选型：CeleryExecutor 或 KubernetesExecutor。

步骤

1. 准备数据库和日志存储：

kubectl create namespace airflow
kubectl -n airflow create secret generic airflow-db \
  --from-literal=password='***'

2. 安装 Airflow：

helm repo add apache-airflow https://airflow.apache.org
helm install airflow apache-airflow/airflow \
  --namespace airflow \
  --set executor=CeleryExecutor \
  --set postgresql.enabled=false \
  --set data.metadataConnection.host=postgres \
  --set data.metadataConnection.db=airflow \
  --set data.metadataConnection.user=airflow \
  --set data.metadataConnection.pass='***' \
  --set workers.replicas=2
kubectl -n airflow get pods

3. 配置 DAG 仓库：

kubectl -n airflow create configmap airflow-dags \
  --from-file=demo.py=./dags/demo.py

4. 访问 UI：

kubectl -n airflow port-forward svc/airflow-webserver 8080:8080

5. 触发和回填：

airflow dags trigger demo
airflow dags backfill demo --start-date 2026-10-01 --end-date 2026-10-07

6. 配置告警：

airflow config get-value email email_backend

验证

• Webserver、scheduler、worker 全部就绪。
• DAG 出现在 UI 并按计划触发。
• 任务日志能在 UI 查看。
• Worker 扩容后任务并发提升。
• 回填任务按日期范围执行。

回滚

• 升级前备份元数据库。
• 保留旧 DAG 和 Helm values。
• 回滚 Airflow 版本时注意数据库 schema 迁移。
• 暂停 DAG 后再回滚，避免任务重复执行。

常见坑

• DAG 文件语法错误，整文件不加载。
• 元数据库连接池耗尽，scheduler 心跳丢失。
• Worker 没有安装 DAG 依赖，任务报 ModuleNotFoundError。
• 日志目录磁盘满，任务状态无法更新。
• 时区不一致，调度时间偏移。
• KubernetesExecutor 的 Pod 资源不足，任务长期 Pending。
• 回填没有幂等设计，产生重复数据。
• 没有配置 DAG 解析超时，scheduler 被大文件拖慢。

相关命令

• airflow — DAG、任务、回填和数据库管理
• kubectl — 查看组件和日志
• helm — 安装和升级
• psql — 检查元数据库