AI 与 MLOps 推理与服务

推理与服务覆盖本地模型运行、高吞吐推理、量化部署和统一模型服务。本分类收录 Ollama、vLLM、SGLang、llama-server、Triton 与 Hugging Face CLI。

• bentoml - BentoML 模型服务打包、批处理与容器化部署。
• gpustack - GPUStack GPU 集群管理
• huggingface-cli - Hugging Face CLI 模型与数据集管理
• llama-server - llama.cpp 推理服务
• lmdeploy - LMDeploy 推理与量化部署
• ollama - Ollama 本地大模型运行
• openllm - OpenLLM 模型服务化
• quantization - 大模型量化部署：bitsandbytes、AWQ、GPTQ 与 FP8。
• ray-serve - Ray Serve 在线推理部署：副本、GPU、自动扩缩与滚动更新。
• sglang - SGLang 高吞吐推理框架
• speculative-decoding - 投机解码：用草稿模型或 n-gram 预测加速 LLM 解码。
• tensorrt-llm - TensorRT-LLM 高性能推理
• tgi - Text Generation Inference 推理服务
• triton - NVIDIA Triton 推理服务器
• triton-inference-server - NVIDIA Triton 生产运维：显式模型控制、版本、批处理与压测。
• vllm - vLLM 高性能推理服务
• vllm-tuning - vLLM 吞吐、延迟与显存参数的调优方法。
• xinference - Xinference 模型推理平台