AI 与 MLOps 评估与安全

评估与安全覆盖生成式应用的离线评估、在线评估、提示词测试、内容护栏、红队和追踪。收录 Ragas、DeepEval、Guardrails AI、Llama Guard、promptfoo、Inspect AI、garak 与 LangSmith。

• deepeval - DeepEval 面向 LLM 应用的单元测试式评测框架。
• garak - NVIDIA 维护的 LLM 红队扫描器，用 probes 与 detectors 发现越狱、注入和泄漏。
• guardrails-ai - Guardrails AI 的输入输出校验与结构化输出框架。
• inspect-ai - UK AISI 的 LLM 评测框架，用 Task、Solver、Scorer 组织可复现的离线评测。
• langsmith - LangChain 生态的 LLM 追踪、数据集与评估平台。
• llama-guard - Meta Llama Guard 内容安全分类模型的使用与部署。
• promptfoo - Promptfoo 的 Prompt、模型与 RAG 评测和红队扫描工具。
• ragas - Ragas 用 LLM 裁判给 RAG 链路打分的评测框架。