AI 基础设施路线图

使用方式

这份路线图用于从零建设或补齐 AI 基础设施。按“硬件与驱动 → 容器运行时 → 推理服务 → 训练平台 → RAG → 可观测性与成本 → 安全”的顺序推进，每一层先保证可用，再追求性能和自动化。

先明确当前阶段：只有几张 GPU 做验证，还是要支撑多团队的生产推理和训练。不同阶段的重点完全不同。

检查清单

1. 硬件与驱动

• GPU 型号、显存、互联（NVLink/IB）和电源散热满足业务。
• 驱动版本统一，CUDA 版本与框架兼容。
• ECC、Xid、温度和功耗有监控。
• GPU 节点有磁盘、内存和网络基线。
• 采购和容量规划按推理/训练峰值估算。

2. 容器与调度

• NVIDIA Container Toolkit 和 device plugin 正常。
• GPU 节点有 taint/toleration 和资源配额。
• 需要共享时评估 HAMi/MIG/time-slicing。
• Pod 能申请 nvidia.com/gpu 并真正使用 GPU。
• 训练和推理使用不同的节点池或优先级。

3. 推理服务

• 明确模型、上下文长度、并发和延迟目标。
• 选择 vLLM/SGLang/TGI/TensorRT-LLM 等推理框架。
• 配置健康检查、限流、超时和重试。
• 模型缓存和镜像拉取速度满足扩容要求。
• 有灰度、回滚和多版本共存方案。

4. 训练与微调

• 单机多卡和多机多卡的启动方式验证。
• NCCL 走 NVLink/IB，拓扑和网卡配置正确。
• 显存优化（ZeRO、LoRA、QLoRA、激活重计算）按需启用。
• checkpoint 保存、恢复和清理策略明确。
• 训练任务有队列、配额和优先级。

5. RAG 与应用

• 文档解析、分块和清洗流程可复现。
• embedding 模型与向量库维度一致。
• 检索质量有评测集，不只看主观感受。
• 生成侧有引用、拒答和敏感信息过滤。
• 知识库更新、删除和权限同步。

6. 可观测性与成本

• GPU 利用率、显存、温度、Xid 和功耗有看板。
• 推理的 QPS、首 token 延迟、token 吞吐和错误率。
• 训练的任务进度、loss、吞吐和失败原因。
• 按团队/模型/环境分摊 GPU 成本。
• 闲置 GPU 有回收机制。

7. 安全与合规

• 模型和数据集来源可信，许可证合规。
• 推理 API 有认证、限流和审计。
• 训练数据脱敏，输出有敏感信息过滤。
• 镜像和模型制品有扫描与签名。
• 多租户隔离和资源配额。

常见误区

• 先买 GPU 再想调度和运维，利用率长期很低。
• 只关注单卡 benchmark，不看真实并发和长上下文。
• 训练和推理混部，互相抢显存和带宽。
• 没有模型缓存，扩容时全部重新下载。
• RAG 只调 prompt，不做检索评测和文档质量治理。
• 没有成本分摊，GPU 成为黑盒支出。

相关条目

• nvidia-smi — GPU 状态
• nvidia-container-toolkit — 容器 GPU
• hami — GPU 共享
• vllm — 推理服务
• torchrun — 分布式训练
• ray — 分布式计算
• langfuse — LLM 可观测性
• gpu-cluster-checklist — GPU 集群检查
• rag-production-checklist — RAG 上线检查