clearml

ClearML 实验与流水线管理

补充说明

ClearML 是开源的 MLOps 平台，覆盖实验跟踪、数据版本、流水线编排、远程 Agent 和模型服务。适合需要自建端到端 MLOps 的团队。

核心概念：Task、Project、Dataset、Pipeline、Agent、Queue 和 Serving。

常用示例

安装并配置：

pip install clearml
clearml-init

记录实验：

from clearml import Task
task = Task.init(project_name="qwen", task_name="lora-sft")
task.connect({"lr": 2e-4, "rank": 16})
task.get_logger().report_scalar("loss", "train", value=1.23, iteration=1)

上传数据集：

from clearml import Dataset
dataset = Dataset.create(dataset_name="sft-data", dataset_project="qwen")
dataset.add_files(path="data")
dataset.upload()
dataset.finalize()

启动 Agent：

clearml-agent daemon --queue default --gpus 0

易错点与排错

• clearml-init 配置的服务器地址或凭据错误，任务无法注册。
• 没有启动 Agent 或队列名不匹配，任务一直 Pending。
• 数据集上传大文件慢，使用分片和缓存。
• 实验记录的 artifact 太大，存储成本高。
• 多用户权限没有隔离，项目互相可见。
• 自建服务没有持久化，重启后数据丢失。
• 版本升级后 SDK 不兼容，固定客户端版本。
• 生产环境没有 HTTPS 和认证，凭据泄露风险高。