k8s-job-failed

Kubernetes Job 失败的定位与修复

现象

Job 状态为 Failed，或 Pod 反复重试后超过 backoffLimit。批处理任务没有完成，可能留下部分数据和失败的 Pod。

快速定位

kubectl get job <job> -n <ns> -o wide
kubectl describe job <job> -n <ns>
kubectl get pods -n <ns> -l job-name=<job>
kubectl logs job/<job> -n <ns>
kubectl logs <pod> -n <ns> --previous
kubectl get events -n <ns> --sort-by=.lastTimestamp | tail -20

常见根因

1. 应用逻辑失败：配置、依赖、权限或数据问题。
2. 镜像拉取失败、入口命令错误或工作目录不存在。
3. 资源不足：CPU/内存 limit、临时存储或 GPU。
4. activeDeadlineSeconds 或 backoffLimit 太小。
5. 节点中断、Pod 被驱逐或卷挂载失败。
6. 并发/幂等设计问题，重试产生重复数据。

修复

• 先看失败 Pod 的日志和退出码，区分应用错误和基础设施错误。
• 修正配置、权限和依赖；确认镜像入口命令正确。
• 调整 resources 和 activeDeadlineSeconds，给足重试次数。
• 处理节点/卷问题，必要时迁移到稳定节点池。
• 让任务幂等，重试前清理部分结果。
• 用 ttlSecondsAfterFinished 自动清理失败/完成的 Job。

相关命令

• kubectl — Job、Pod、日志
• k8s 分支的 job / cronjob 页面 — 对象配置
• kubectl describe node — 资源情况