garak

NVIDIA 维护的 LLM 红队扫描器，用 probes 与 detectors 发现越狱、注入和泄漏。

补充说明

garak（Generative AI Red-teaming & Assessment Kit）像 nmap 一样扫描模型：probes 生成攻击提示，detectors 判断输出是否命中，harness 负责调度，evaluator 汇总报告。内置 probe 覆盖 DAN 越狱、编码绕过、提示注入、数据泄漏、恶意代码生成、包名幻觉、毒性和 XSS 等类别。

它适合模型上线前的安全回归、版本对比和红队初筛，不替代人工渗透测试。运行时防护用 guardrails-ai 或 llama-guard 在请求链路拦截；garak 是离线扫描器，promptfoo 更偏应用级测试与 CI，DeepEval 更偏质量指标。扫描结果有假阳性和假阴性，命中项必须人工复核。

版本注意：--probes 和 --probe_tags 已弃用，改用 --spec 选择 probe 或 tag；probe 类名、detector 名称和报告字段随版本变化，升级后先 --list_probes 核对，具体以当前版本文档为准。

常用示例

安装并列出可用 probe、detector 和生成器：

python -m pip install -U garak
garak --version && garak --list_probes | head -20
garak --list_detectors | head -20

先用测试目标跑通链路，不消耗模型额度：

python -m garak -t test.Blank -S probes.test.Blank -d always.Pass --report_prefix ./reports/smoke

扫描 OpenAI 模型时只选编码类 probe，控制费用和时长：

export OPENAI_API_KEY="sk-..."
garak --target_type openai --target_name gpt-4o-mini \
  --spec probes.encoding --generations 1 --parallel_attempts 4 \
  --report_prefix ./reports/openai-encoding

扫描本地 Hugging Face 模型；7B fp16 权重约 14GB，另需 KV cache，显存不足会 OOM：

garak --target_type huggingface --target_name Qwen/Qwen2.5-7B-Instruct \
  --spec probes.dan --generations 1 --report_prefix ./reports/qwen-dan

按 OWASP 标签选 probe，或用负号排除不需要的模块：

garak --target_type openai --target_name gpt-4o-mini --spec 'tag:owasp:llm01'
garak --target_type openai --target_name gpt-4o-mini --spec 'probes.dan,probes.encoding,-probes.lmrc'

提高攻击轮数和并发；并发过高会触发 429，先从 4 开始压测：

garak --target_type openai --target_name gpt-4o-mini \
  --spec probes.promptinject --generations 3 --parallel_attempts 8 --seed 42 \
  --report_prefix ./reports/promptinject

用固定 detector 做冒烟或对照，避免不同 probe 默认 detector 带来的差异：

garak --target_type openai --target_name gpt-4o-mini \
  --spec probes.encoding --detectors always.Pass --report_prefix ./reports/detector-smoke

运行结束后把 JSONL 报告转换成 AVID 格式，并检查命中明细：

garak --report ./reports/ci.report.jsonl
ls -lh ./reports
head -n 1 ./reports/ci.report.jsonl

易错点与排错

• 默认跑全部 probe，提示数随 probe 数、generations 和并发迅速放大；先用 --spec 选小集合，确认成本和耗时。
• 429 或超时通常不是模型“防住了”，而是限流；降低 --parallel_attempts，加退避重试，并把调用失败单独统计。
• 本地模型 OOM 时先确认权重精度和上下文长度；7B fp16 约 14GB，长上下文和并发会显著增加 KV cache，必要时换量化或远程端点。
• 模型名必须在目标提供方支持列表内，OpenAI 的未知模型名会直接报错；先用官方模型列表核对。
• toxic 类 detector 会把引用、反讽或安全讨论误判为命中；必须看原始 prompt 和 completion，不能只看命中率。
• 编码、非英语或分段输出容易漏检；增加 generations、启用 extended detectors，并对关键类别人工抽检。
• 报告默认写到 XDG 数据目录而不是当前目录；用绝对路径的 --report_prefix，并区分 garak.log 与 JSONL 报告。
• 拒绝回答通常记为 pass，不要把“模型拒答”当成功能缺陷；同时注意过度拒答对可用性的影响。
• probe/detector 类名和插件接口随版本变化，旧命令可能静默选不到 probe；升级后重新 --list_probes 并锁定版本。
• REST 或自建端点需要正确的生成器配置和超时设置，流式响应、代理缓冲会导致解析失败；先用简单请求验证连通性。

相关命令

• llama-guard — 运行时安全分类器，与离线扫描互补
• guardrails-ai — 请求链路的输入输出校验
• vllm — 本地模型推理服务，供 garak 扫描

读完自测

1. probe、detector、harness 各自负责什么？
2. 为什么默认全量扫描又慢又贵？
3. 扫描命中率 100% 是否说明模型一定不安全？