evidently

Evidently 模型与数据监控

补充说明

Evidently 用于监控数据漂移、模型性能、数据质量和文本质量，生成 HTML 报告和测试断言。适合传统 ML 和 LLM 应用的线上监控。

核心概念：Report、TestSuite、Dataset、ColumnMapping 和 preset。

常用示例

安装：

pip install evidently

生成数据漂移报告：

from evidently.report import Report
from evidently.metric_preset import DataDriftPreset

report = Report(metrics=[DataDriftPreset()])
report.run(reference_data=ref_df, current_data=cur_df)
report.save_html("drift.html")

测试断言：

from evidently.test_suite import TestSuite
from evidently.tests import TestShareOfDriftedColumns

suite = TestSuite(tests=[TestShareOfDriftedColumns(lt=0.3)])
suite.run(reference_data=ref_df, current_data=cur_df)
print(suite.as_dict())

LLM 文本质量：

from evidently.metrics import TextEvals
report = Report(metrics=[TextEvals(column_name="answer")])

易错点与排错

• 参考数据和当前数据的列名/类型不一致，报告失败。
• 分类目标列没有正确映射，性能指标算不出来。
• 样本量太小，漂移结论不稳定。
• 时间窗口选得太短，正常波动被当成漂移。
• 只监控数据漂移，不监控模型效果，漏掉真实退化。
• 报告生成占用内存，大数据集先采样。
• 阈值没有结合业务，告警过多或过少。
• 版本升级后 preset 名称变化，导入失败。