optuna

Optuna 超参数优化

补充说明

Optuna 是自动超参数优化框架，支持 TPE、CMA-ES、网格/随机搜索和剪枝。适合调学习率、batch size、LoRA rank、模型结构等。

核心概念：study、trial、objective、sampler、pruner 和 dashboard。

常用示例

安装：

pip install optuna

定义目标函数：

import optuna

def objective(trial):
    lr = trial.suggest_float("lr", 1e-5, 1e-3, log=True)
    rank = trial.suggest_categorical("rank", [8, 16, 32])
    score = train_and_eval(lr=lr, rank=rank)
    return score

study = optuna.create_study(direction="maximize")
study.optimize(objective, n_trials=30)
print(study.best_params)

带剪枝：

from optuna.pruners import MedianPruner
study = optuna.create_study(
    direction="maximize",
    pruner=MedianPruner(n_startup_trials=5, n_warmup_steps=10),
)

启动 dashboard：

optuna-dashboard sqlite:///optuna.db

易错点与排错

• 搜索空间太大，30 次 trial 不足以找到好结果。
• 目标函数不可复现，随机种子没有固定。
• 每次 trial 重新加载模型，优化开销远大于训练本身。
• 剪枝指标上报时机不对，好的 trial 被提前终止。
• 并行 trial 争抢同一张 GPU，OOM 或互相拖慢。
• 数据库使用 SQLite 且并发高，锁冲突。
• 只优化一个指标，忽略显存、延迟和稳定性。
• 最佳 trial 没有保存完整配置和权重，无法复现。