fp8-inference

FP8 推理：用 8 位浮点降低显存和带宽，在 Hopper/Ada 上提升吞吐

补充说明

FP8 是 8 位浮点格式，常用两种编码：E4M3（4 位指数、3 位尾数，精度更高）和 E5M2（5 位指数、2 位尾数，动态范围更大）。在支持 FP8 的 NVIDIA GPU（Hopper H100/H200、Ada 部分型号、Blackwell）上，矩阵乘可以用 FP8 Tensor Core 加速，权重和激活占用约为 FP16 的一半，带宽压力也更小。

FP8 不是简单地把权重截断。通常需要校准（calibration）或动态缩放（dynamic scaling）来确定激活的缩放因子，避免溢出或精度损失。vLLM、TensorRT-LLM、Transformer Engine 都提供 FP8 路径；不同框架的 checkpoint 格式、校准数据和开启方式不同。

常用示例

# 确认 GPU 是否支持 FP8（Hopper/Ada/Blackwell）
nvidia-smi --query-gpu=name,compute_cap --format=csv
# H100 的 compute capability 是 9.0，Ada 是 8.9

# vLLM：加载已量化好的 FP8 checkpoint
vllm serve /models/Qwen2.5-7B-Instruct-FP8 \
  --quantization fp8 --dtype auto \
  --host 0.0.0.0 --port 8000

# vLLM：在线量化（按版本支持情况）
vllm serve Qwen/Qwen2.5-7B-Instruct \
  --quantization fp8 --dtype bfloat16 \
  --host 0.0.0.0 --port 8000

# 对比 FP16 与 FP8 的显存和吞吐
nvidia-smi --query-gpu=memory.used,utilization.gpu --format=csv -l 1
# 用相同并发和输入长度压测，记录 tokens/s、TTFT、TPOT 和显存峰值

# 精度验收：用业务评测集对比 FP16/FP8 输出
# 关注代码、数学、JSON 结构化输出和长上下文任务，不只看困惑度

TensorRT-LLM 通常需要先转换 checkpoint 并构建 FP8 engine；Transformer Engine 在训练/推理中自动管理 FP8 缩放。上线前要固定驱动、CUDA、框架版本，并记录校准数据。

易错点与排错

• 在不支持 FP8 的显卡上开启 FP8：硬件不支持时可能回退、报错或性能更差；先查 compute capability 和框架支持矩阵。
• 把 FP8 当成无损压缩：低比特会带来精度损失，代码、数学、结构化输出和长上下文更容易暴露；必须用业务评测集验收。
• 校准数据分布不对：校准集与线上输入差异大时，缩放因子不合适，可能出现溢出或精度下降；校准集要覆盖真实场景。
• 忽略 KV Cache：FP8 主要降低权重/激活，KV Cache 可能仍是 FP16/BF16；长上下文和高并发的显存瓶颈不一定消失。
• checkpoint 格式混用：vLLM、TensorRT-LLM、Transformer Engine 的 FP8 checkpoint 不通用；按目标框架转换并记录来源。
• 只看吞吐不看延迟：FP8 可能提高吞吐，但 TTFT/TPOT 和尾延迟未必同步改善；用真实并发压测。
• 动态缩放与批处理冲突：不同请求的激活范围差异大时，动态缩放可能带来额外开销或数值不稳定；观察日志和异常输出。
• 版本升级后未回归：FP8 kernel、缩放策略和框架默认值会变化；升级后重新跑精度和性能基线。

相关命令

• quantization — 量化方法总览（INT8/INT4/FP8）。
• tensorrt-llm — TensorRT-LLM 的 FP8 引擎构建。
• vllm-tuning — vLLM 吞吐与显存调优。
• bitsandbytes — 另一种低比特量化路径。
• cuda — CUDA 版本与工具链。

参考链接

• vLLM FP8 量化
• NVIDIA FP8 格式说明

读完自测

合上页面，先回答，再展开对照。

1. FP8 的 E4M3 和 E5M2 有什么区别？
2. 为什么 FP8 需要校准或动态缩放？
3. FP8 上线前应该用哪些任务做精度验收？