搭建 Argo Workflows 工作流引擎

适用场景

需要在 Kubernetes 上编排批处理、数据管道、CI 任务或机器学习流水线。Argo Workflows 用 YAML 定义 DAG 或步骤，每个节点是一个 Pod，适合云原生任务编排。

前置条件

• Kubernetes 集群和 kubectl。
• 对象存储（MinIO/S3/OSS）用于存放 artifact。
• 明确工作流并发、资源配额和保留策略。
• 需要 UI 时准备 Ingress 和认证。

步骤

1. 安装 Argo Workflows：

kubectl create namespace argo
kubectl apply -n argo -f https://github.com/argoproj/argo-workflows/releases/latest/download/install.yaml
kubectl -n argo get pods

2. 安装 MinIO 作为 artifact 仓库：

helm repo add minio https://charts.min.io/
helm install minio minio/minio \
  --namespace argo \
  --set rootUser=admin,rootPassword='***' \
  --set buckets[0].name=artifacts

3. 配置 artifact repository：

kubectl -n argo create secret generic artifact-repositories \
  --from-literal=default-v1.yaml='
s3:
  bucket: artifacts
  endpoint: minio:9000
  insecure: true
  accessKeySecret:
    name: minio
    key: rootUser
  secretKeySecret:
    name: minio
    key: rootPassword
'
kubectl -n argo label secret artifact-repositories \
  workflows.argoproj.io/artifact-repositories=default

4. 提交一个 DAG：

kubectl apply -n argo -f - <<'EOF'
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: etl-
spec:
  entrypoint: main
  templates:
  - name: main
    dag:
      tasks:
      - name: extract
        template: echo
        arguments:
          parameters: [{name: msg, value: extract}]
      - name: transform
        depends: extract
        template: echo
        arguments:
          parameters: [{name: msg, value: transform}]
  - name: echo
    inputs:
      parameters:
      - name: msg
    container:
      image: busybox
      command: [sh, -c]
      args: ["echo {{inputs.parameters.msg}}"]
EOF

5. 查看和访问 UI：

argo list -n argo
argo logs -n argo @latest
kubectl -n argo port-forward svc/argo-server 2746:2746

验证

• Workflow 状态为 Succeeded。
• DAG 中任务依赖顺序正确。
• artifact 能在 MinIO 中看到。
• UI 能查看日志、事件和 DAG。
• 定时工作流按计划触发。

回滚

• 删除 Workflow 不影响已完成的历史记录。
• 升级前备份 WorkflowTemplate、CronWorkflow 和 controller 配置。
• 保留 MinIO 中的 artifact，确认不再需要后再清理。
• 回滚控制器版本时注意 CRD 兼容性。

常见坑

• 没有配置 artifact repository，带 artifact 的工作流一直 Pending。
• ServiceAccount 权限不足，Pod 无法创建。
• 工作流并发过高，集群资源被打满。
• ttlStrategy 没配置，完成的 Workflow 无限增长。
• 大 artifact 直接写 etcd，应该用对象存储。
• UI 暴露公网且没有 SSO，任何人都能查看日志和密钥。
• 节点镜像拉取失败，工作流卡在 ImagePullBackOff。

相关命令

• argo — 提交、查看、日志和重试
• kubectl — 查看 Workflow 和 Pod
• helm — 安装 MinIO
• mc — 检查 artifact 桶