Arize AI

Arize AI是什么

Arize AI是一套面向AI工程团队的可观测、评估和持续改进平台，用于追踪大模型调用、分析Agent行为、发现失败模式并验证改动效果。

产品分为托管服务Arize AX与本地优先的开源Phoenix，两者都围绕OpenTelemetry和OpenInference标准构建。

Arize AX与Phoenix的区别

核心功能

LLM与Agent追踪

• 记录模型、工具、检索器和Agent调用链
• 查看输入、输出、延迟、Token与成本
• 按Trace、Span和Session分析行为
• 支持文本、图像、语音和PDF等多模态追踪
• 展示Agent轨迹的路径和图结构
• 通过OpenTelemetry接入现有系统

在线与离线评估

• 对生产Trace和Span运行在线评估
• 对数据集和实验运行离线评估
• 使用LLM-as-a-Judge评估质量
• 使用代码评估器验证确定性规则
• 评估RAG相关性、正确性和幻觉
• 评估多轮会话与Agent完整轨迹
• 支持人工标注与反馈队列

数据集与实验

团队可把真实请求、失败案例和边界样本整理成数据集，再对提示词、模型或Agent逻辑运行可重复实验。

• 保存测试输入和期望结果
• 比较不同实验的评估分数
• 计算准确率、精确率、召回率和F1
• 回放生产Trace到Playground
• 并排比较多套提示词
• 对提示词进行版本管理与优化

生产监控与Signal

Signal会持续分析生产数据并自动发现Agent失败模式，帮助团队从海量Trace中定位高影响问题。

• 自动聚类和识别失败模式
• 按质量、延迟和成本创建监控
• 通过仪表盘观察趋势
• 将异常连接到具体会话和调用
• 企业方案可连接代码仓库并生成修复PR
• 支持托管调试代理和Agent群可观测

Guardrails与安全评估

平台可以追踪输入输出护栏，检测越狱、低相关性和不符合策略的消息，并记录拦截或重新生成过程。

支持的技术生态

• OpenTelemetry与OpenInference
• OpenAI与Anthropic
• LangChain与LangGraph
• LlamaIndex与CrewAI
• OpenAI Agents SDK
• 常见向量数据库和RAG框架
• Python、TypeScript与CLI工作流

适合哪些使用场景

• 监控客服Agent的多轮会话质量
• 评估RAG检索相关性和答案正确性
• 分析工具调用失败与循环行为
• 比较模型和提示词版本
• 追踪Token、延迟和调用成本
• 从生产失败构建回归测试集
• 给人工审核员建立标注队列
• 在本地使用Phoenix调试原型
• 为企业AI系统设置持续质量门禁

主要优势

• 观测、评估、实验和改进形成闭环
• 使用开放追踪标准降低框架绑定
• 支持开发阶段和生产阶段统一分析
• 对Agent轨迹和多轮会话有专门视图
• 免费方案提供完整基础工作流
• 用户和评估次数在各方案中均不限
• Phoenix可本地运行并控制数据
• 支持SaaS与企业自托管选择

使用限制与注意事项

• Free每月仅含2.5万个Span
• Pro每月仅含5万个Span
• 复杂Agent一次请求可能产生大量Span
• LLM评估会产生额外模型Token费用
• Trace可能包含用户输入和敏感业务数据
• 15天或30天保留期可能不足以支持长期审计
• 自托管、SSO和审计日志属于企业能力
• 评估器本身也可能出现偏差和误判
• Phoenix采用ELv2，不是无限制宽松许可证
• 高流量团队需要提前测算存储与Span增长

Arize AX套餐价格

所有方案均提供不限用户、评估、实验、人工标注和标注队列，价格与限额可能调整。

功能版本对比

成本估算要点

• 统计每次用户请求产生的平均Span数
• 估算工具调用、重试和子Agent扩散
• 区分Trace存储费与模型评估Token费
• 测算多模态负载带来的存储增长
• 确认需要保留数据的时间跨度
• 评估用户数量是否影响内部运营成本
• 用真实生产样本测试方案上限

Arize AX快速入门

1. 创建免费账户并新建Space。
2. 选择应用使用的语言和Agent框架。
3. 安装对应OpenInference仪器化组件。
4. 配置Arize端点、Space ID和API密钥。
5. 运行几次测试请求并打开Trace视图。
6. 检查模型、检索、工具和Agent Span是否完整。
7. 添加延迟、成本和质量评估器。
8. 建立仪表盘和异常监控后再接入生产。

RAG评估教程

1. 对LLM、Retriever和Embedding步骤启用追踪。
2. 运行一组具有代表性的查询。
3. 确认检索片段和最终答案落在正确Span。
4. 添加检索相关性评估器。
5. 添加答案正确性与幻觉评估器。
6. 把失败Trace保存为数据集样本。
7. 修改检索参数、提示词或模型。
8. 运行实验并比较各项分数和成本。

生产Agent改进教程

1. 按会话追踪完整Agent轨迹。
2. 启用Signal发现重复失败模式。
3. 抽查高影响问题并进行人工标注。
4. 为工具选择、最终答案和轨迹创建评估器。
5. 把典型失败加入回归数据集。
6. 在Playground中回放并修改提示词或逻辑。
7. 运行对照实验验证改动是否提升。
8. 上线后监控同一失败模式是否再次出现。

隐私与安全

Trace通常包含提示词、模型输出、检索文本、工具参数和用户反馈，因此接入可观测平台前必须完成数据分类与脱敏。

• 避免记录密码、Token和完整凭据
• 对个人信息和业务机密进行脱敏
• 按团队设置Space与组织权限
• 根据地区要求选择美国、欧盟或加拿大数据区
• 企业客户评估自托管、SSO和审计日志
• 明确删除、保留和备份策略
• 限制评估模型接触敏感Trace

Phoenix开源情况

Arize Phoenix的代码公开在GitHub，支持追踪、评估、实验和提示词迭代，并可在本地或自有基础设施运行。

ELv2允许广泛使用和修改，但包含对托管服务等用途的限制，商业再分发前应阅读许可证。

基本信息

推荐指数

综合推荐指数为4.8分，满分5分。Arize AI适合希望把生产可观测、离线评估和Agent改进连成闭环的团队，Phoenix也为重视本地部署的开发者提供了成熟入口。

常见问题

Arize AI主要解决什么问题？

它用于追踪AI应用、评估输出质量、发现生产失败并验证改进效果。

Arize AX和Phoenix有什么区别？

AX是托管商业平台，Phoenix是可本地部署的开源可观测与评估工具。

Arize AX免费吗？

Free方案免费，每月包含25,000个Span、1GB存储和15天保留。

Pro多少钱？

AX Pro当前为每月50美元，包含50,000个Span、10GB存储和30天保留。

评估次数有限制吗？

官方方案表将评估标为不限，但调用外部模型进行评估仍会产生模型Token费用。

支持Agent监控吗？

支持，可查看Agent轨迹、工具调用、会话，并用Signal发现失败模式。

可以自托管吗？

Phoenix可以自行部署，Arize AX自托管属于Enterprise方案。

Phoenix是什么许可证？

Phoenix采用Elastic License 2.0，并非MIT或Apache等宽松许可证。

能监控传统机器学习模型吗？

可以，Arize也提供分类、回归、计算机视觉和传统模型监控能力。