AI 与 MLOps 实验与数据

实验与数据覆盖训练指标记录、数据与模型版本管理、可视化、数据标注和模型评测。本分类收录 MLflow、DVC、W&B、TensorBoard、Label Studio 与 lm-eval。

• clearml - ClearML 实验与流水线管理
• comet - Comet 实验跟踪与 LLM 评估
• dvc - DVC 数据与模型版本管理
• evidently - Evidently 模型与数据监控
• label-studio - Label Studio 数据标注平台
• langfuse - Langfuse LLM 可观测性
• lm-eval - lm-evaluation-harness 模型评测
• mlflow - MLflow 实验跟踪与模型管理
• model-registry - 模型注册表：用 MLflow Registry 和 OCI 制品管理版本与别名。
• neptune - Neptune 实验元数据管理
• phoenix - Arize Phoenix LLM 追踪与评估
• tensorboard - TensorBoard 训练可视化
• wandb - Weights & Biases 实验跟踪