neptune

Neptune 实验元数据管理

补充说明

Neptune 用于记录和管理机器学习实验的指标、参数、模型、数据和代码版本，适合大量实验的对比与检索。支持 Python SDK 和多种框架集成。

核心概念：project、run、field、artifact、series 和 dashboard。

常用示例

安装并配置：

pip install neptune
export NEPTUNE_API_TOKEN=***
export NEPTUNE_PROJECT=team/qwen

记录实验：

import neptune

run = neptune.init_run()
run["parameters"] = {"lr": 2e-4, "rank": 16}
for step, loss in enumerate(losses):
    run["train/loss"].append(loss)
run["model"].upload("lora-adapter")
run.stop()

使用上下文管理器：

with neptune.init_run() as run:
    run["accuracy"] = 0.91

易错点与排错

• API Token 或 project 名称错误，初始化失败。
• 没有调用 stop()，run 长期处于 running。
• 高频记录指标产生大量请求，使用批量或降低频率。
• 上传大文件没有使用 artifact，元数据服务压力大。
• 多进程训练每个 rank 都初始化 run，记录重复。
• 离线模式忘记同步，数据没有上传。
• 代理或防火墙阻断服务，SDK 超时。
• 敏感数据进入元数据，先脱敏。