bitsandbytes

bitsandbytes 量化训练与推理

补充说明

bitsandbytes 提供 8-bit/4-bit 量化和 8-bit 优化器，常用于 QLoRA、低显存微调和量化推理。它与 Transformers、PEFT、Accelerate 集成紧密。

核心能力：load_in_8bit、load_in_4bit、BitsAndBytesConfig、Adam8bit、LLM.int8()。

常用示例

安装：

pip install bitsandbytes
python -c "import bitsandbytes as bnb; print(bnb.__version__)"

4-bit 加载模型：

from transformers import AutoModelForCausalLM, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype="bfloat16",
    bnb_4bit_use_double_quant=True,
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct",
    quantization_config=bnb_config,
    device_map="auto",
)

8-bit 优化器：

import bitsandbytes as bnb
optimizer = bnb.optim.Adam8bit(model.parameters(), lr=1e-4)

检查 CUDA 支持：

python -m bitsandbytes

易错点与排错

• CUDA 版本与 bitsandbytes 预编译包不匹配，报 libbitsandbytes_cuda...so 找不到。
• 只支持 NVIDIA GPU 的部分架构，老卡或非 CUDA 环境会回退或失败。
• device_map="auto" 与多卡训练冲突，训练应使用 Accelerate/DeepSpeed。
• 4-bit 量化后部分算子不支持，推理结果与全精度有差异。
• bnb_4bit_compute_dtype 使用 fp16 可能溢出，优先 bf16。
• 量化模型不能直接合并 LoRA，需要先反量化或使用兼容方案。
• 多进程同时加载模型导致显存不足，每个 rank 只加载自己的部分。
• 安装后没有重启进程，旧的 CUDA 上下文仍在使用。