comet

Comet 实验跟踪与 LLM 评估

补充说明

Comet 提供实验跟踪、模型对比、数据集版本和 LLM 评估。支持 Python SDK、命令行和多种框架集成，适合团队协作和模型选型。

核心概念：Experiment、Project、Artifact、Model、Dataset 和 LLM Evaluation。

常用示例

安装并登录：

pip install comet_ml
comet login

记录实验：

import comet_ml

experiment = comet_ml.Experiment(project_name="qwen-lora")
experiment.log_parameter("lr", 2e-4)
experiment.log_metric("loss", 1.23, step=1)
experiment.log_model("qwen-lora", "./lora-adapter")
experiment.end()

环境变量方式：

export COMET_API_KEY=***
export COMET_PROJECT_NAME=qwen-lora

命令行查看：

comet experiment list --project qwen-lora

易错点与排错

• API Key 未配置，SDK 静默不记录或报 401。
• 多个实验复用同一个 experiment 对象，指标混在一起。
• 没有调用 end()，实验长期处于 running。
• 上传大模型或数据集耗时，使用 artifact 分片。
• 代理或防火墙阻断 Comet 服务，SDK 超时。
• 版本升级后 SDK 与离线包不兼容。
• 敏感数据上传前没有脱敏。
• 免费额度有限，长期训练注意数据量和保留期。