tensorrt-llm

TensorRT-LLM 高性能推理

补充说明

TensorRT-LLM 把大模型编译成 TensorRT 引擎，利用量化、内核融合和 in-flight batching 提升 NVIDIA GPU 上的推理性能。适合对延迟和吞吐要求高的生产环境。

核心流程：准备模型 → 转换权重 → 构建 engine → 启动 Triton/自带 runtime → 压测。

常用示例

安装：

pip install tensorrt-llm

转换 Hugging Face 权重：

python examples/qwen/convert_checkpoint.py \
  --model_dir Qwen/Qwen2.5-7B-Instruct \
  --output_dir ./trtllm-checkpoint \
  --dtype bfloat16

构建 engine：

trtllm-build \
  --checkpoint_dir ./trtllm-checkpoint \
  --output_dir ./trtllm-engine \
  --gemm_plugin bfloat16 \
  --max_batch_size 8 \
  --max_input_len 4096 \
  --max_seq_len 8192

运行推理：

python examples/run.py \
  --engine_dir ./trtllm-engine \
  --max_output_len 128 \
  --input_text "你好"

易错点与排错

• TensorRT-LLM 版本必须与 TensorRT、CUDA、驱动严格匹配。
• engine 与构建时的 GPU 架构绑定，换卡后需要重新构建。
• max_batch_size、max_input_len、max_seq_len 影响显存和性能，按业务设置。
• 量化（FP8/INT4）需要对应 GPU 支持，否则构建失败。
• 权重转换脚本和模型架构不匹配，报 missing keys。
• engine 构建时间长，建议在构建机完成后再分发。
• 动态 shape 配置不当，长请求被拒绝或性能下降。
• 只测单请求延迟，不测并发吞吐，生产容量规划失真。