phoenix

Arize Phoenix LLM 追踪与评估

补充说明

Phoenix 是 Arize 开源的 LLM 可观测性和评估工具，基于 OpenTelemetry 采集 trace，支持 RAG 检索质量、幻觉和回答相关性评估。适合本地开发和自建。

核心概念：project、trace、span、evaluator、dataset 和 experiment。

常用示例

安装并启动：

pip install arize-phoenix
python -m phoenix.server.main serve
# http://localhost:6006

自动追踪 OpenAI/LangChain：

import phoenix as px
px.launch_app()

from openinference.instrumentation.langchain import LangChainInstrumentor
LangChainInstrumentor().instrument()

手动创建 span：

from opentelemetry import trace
tracer = trace.get_tracer("rag")
with tracer.start_as_current_span("retrieval") as span:
    span.set_attribute("retriever.top_k", 4)

导出数据：

px.Client().export_dataframe()

易错点与排错

• 没有安装对应的 OpenInference instrumentation，trace 为空。
• OTel exporter 指向错误端点，数据没有上报。
• Phoenix 与生产 OTel 收集器同时使用，采样和资源冲突。
• 评估模型需要 API Key，未配置时评估任务失败。
• 长 trace 的 span 过多，UI 加载慢。
• 自建实例没有持久化，重启后数据丢失。
• 敏感数据进入 trace，先脱敏。
• 版本升级后 API 变化，instrumentation 需要同步升级。