AI 与 MLOps 工具手册

收录 84 个 AI 与 MLOps 条目，覆盖 GPU 监控、CUDA/NCCL、模型推理、分布式训练、微调、RAG 应用、实验跟踪、评估、Agent 与安全。

• a2a - Agent-to-Agent 协议：用 Agent Card 发现能力，以任务为中心协作。
• accelerate - Hugging Face Accelerate 分布式训练
• autogen - Microsoft AutoGen 多 Agent 对话与协作框架。
• axolotl - Axolotl 微调配置工具
• bentoml - BentoML 模型服务打包、批处理与容器化部署。
• bitsandbytes - bitsandbytes 量化训练与推理
• chroma-ops - Chroma 向量库的自托管运行、认证、备份与容量运维。
• clearml - ClearML 实验与流水线管理
• comet - Comet 实验跟踪与 LLM 评估
• crewai - CrewAI 多角色 Agent 协作与任务编排框架。
• cuda - CUDA 工具链与版本管理
• dcgm-exporter - DCGM Exporter GPU 指标采集
• deepeval - DeepEval 面向 LLM 应用的单元测试式评测框架。
• deepspeed - DeepSpeed 分布式训练优化
• dify - Dify LLM 应用平台
• docling - Docling 文档解析与转换
• dspy - DSPy 用声明式模块和优化器替代手工 Prompt 的框架。
• dvc - DVC 数据与模型版本管理
• evidently - Evidently 模型与数据监控
• fastgpt - FastGPT 知识库问答平台
• flash-attn - FlashAttention 加速注意力
• garak - NVIDIA 维护的 LLM 红队扫描器，用 probes 与 detectors 发现越狱、注入和泄漏。
• gpu-burn - gpu-burn GPU 压力测试
• gpustack - GPUStack GPU 集群管理
• graphrag - 微软 GraphRAG：从文本抽取实体关系，构建社区摘要增强 RAG。
• guardrails-ai - Guardrails AI 的输入输出校验与结构化输出框架。
• hami - HAMi GPU 共享与调度
• huggingface-cli - Hugging Face CLI 模型与数据集管理
• inspect-ai - UK AISI 的 LLM 评测框架，用 Task、Solver、Scorer 组织可复现的离线评测。
• kubeflow - Kubeflow 机器学习平台
• label-studio - Label Studio 数据标注平台
• langchain - LangChain 应用编排
• langfuse - Langfuse LLM 可观测性
• langgraph - LangGraph 有状态 Agent 的图编排与持久化框架。
• langsmith - LangChain 生态的 LLM 追踪、数据集与评估平台。
• llama-factory - LLaMA-Factory 模型微调
• llama-guard - Meta Llama Guard 内容安全分类模型的使用与部署。
• llama-server - llama.cpp 推理服务
• llamaindex - LlamaIndex 数据索引与 RAG
• lm-eval - lm-evaluation-harness 模型评测
• lmdeploy - LMDeploy 推理与量化部署
• mcp - Model Context Protocol 的服务器、客户端与接入配置。
• megatron-lm - Megatron-LM 大规模训练
• milvus-ops - Milvus 集群运维：依赖组件、扩缩容、compaction 与监控排错。
• mlflow - MLflow 实验跟踪与模型管理
• model-registry - 模型注册表：用 MLflow Registry 和 OCI 制品管理版本与别名。
• nccl - NCCL 多卡通信与测试
• neptune - Neptune 实验元数据管理
• nvidia-container-toolkit - NVIDIA 容器运行时工具
• nvidia-smi - NVIDIA GPU 状态查询
• nvitop - nvitop GPU 交互式监控
• nvtop - nvtop GPU 监控工具
• ollama - Ollama 本地大模型运行
• openai-agents-sdk - OpenAI 官方 Agents SDK：Agent、Runner、handoffs、guardrails 与内置 tracing。
• openllm - OpenLLM 模型服务化
• optuna - Optuna 超参数优化
• peft - PEFT 参数高效微调
• phoenix - Arize Phoenix LLM 追踪与评估
• promptfoo - Promptfoo 的 Prompt、模型与 RAG 评测和红队扫描工具。
• pydantic-ai - Pydantic 团队的类型安全 Agent 框架，工具参数与输出都由 schema 校验。
• quantization - 大模型量化部署：bitsandbytes、AWQ、GPTQ 与 FP8。
• ragas - Ragas 用 LLM 裁判给 RAG 链路打分的评测框架。
• ragflow - RAGFlow 知识库与 RAG 引擎
• ray - Ray 分布式计算框架
• ray-serve - Ray Serve 在线推理部署：副本、GPU、自动扩缩与滚动更新。
• reranker - 交叉编码器重排：在向量召回后用小模型精排 TopK，提升 RAG 命中率。
• sglang - SGLang 高吞吐推理框架
• slurm - Slurm GPU 集群作业提交、资源申请与调度排错。
• smolagents - Hugging Face 的轻量 Agent 框架，CodeAgent 直接生成并执行 Python 动作。
• speculative-decoding - 投机解码：用草稿模型或 n-gram 预测加速 LLM 解码。
• tensorboard - TensorBoard 训练可视化
• tensorrt-llm - TensorRT-LLM 高性能推理
• tgi - Text Generation Inference 推理服务
• torchrun - PyTorch 分布式训练启动器
• transformers - Hugging Face Transformers
• triton - NVIDIA Triton 推理服务器
• triton-inference-server - NVIDIA Triton 生产运维：显式模型控制、版本、批处理与压测。
• trl - TRL 强化学习与对齐训练
• unsloth - Unsloth 高效微调
• vllm - vLLM 高性能推理服务
• vllm-tuning - vLLM 吞吐、延迟与显存参数的调优方法。
• wandb - Weights & Biases 实验跟踪
• weaviate-ops - Weaviate 向量库的生产运维：认证、备份、多租户与索引。
• xinference - Xinference 模型推理平台