Arize AI

Arize AI是什麼

Arize AI是一套面向AI工程團隊的可觀測、評估和持續改進平台，用於追蹤大模型的呼叫情況、分析Agent的行為、發現失敗模式並驗證改動的效果。

產品分為託管服務Arize AX與本地優先的開源Phoenix，兩者都圍繞OpenTelemetry和OpenInference標準構建。

Arize AX與Phoenix的差異

核心功能

LLM與Agent追蹤

• 記錄模型、工具、檢索器及Agent呼叫鏈
• 查看輸入、輸出、延遲、Token與成本
• 按Trace、Span和Session分析行為
• 支援文本、圖像、語音和PDF等多模態追蹤
• 展示Agent軌跡的路徑和圖結構
• 透過OpenTelemetry接入現有系統

線上與離線評估

• 對生產Trace和Span運行在線評估
• 對數據集和實驗運行離線評估
• 使用LLM-as-a-Judge評估品質
• 使用代碼評估器驗證確定性規則
• 評估RAG相關性、正確性和幻覺
• 評估多輪會話與Agent完整軌跡
• 支援人工標註與回饋隊列

資料集與實驗

團隊可把真實請求、失敗案例和邊界樣本整理成數據集，再對提示詞、模型或Agent邏輯運行可重複實驗。

• 保存測試輸入和期望結果
• 比較不同實驗的評估分數
• 計算準確率、精確率、召回率及F1
• 回放生產Trace到Playground
• 並排比較多套提示詞
• 對提示詞進行版本管理與優化

生產監控與Signal

Signal會持續分析生產數據並自動發現Agent失敗模式，協助團隊從海量Trace中定位高影響問題。

• 自動聚類和識別失敗模式
• 按品質、延遲和成本創建監控
• 透過儀表盤觀察趨勢
• 將異常連接到具體會話和呼叫
• 企業方案可連接代碼倉庫並生成修復PR
• 支援託管調試代理和Agent群可觀測

護欄與安全評估

平台可以追蹤輸入輸出護欄，檢測越獄、低相關性及不符合策略的消息，並記錄攔截或重新生成過程。

支援的技術生態

• OpenTelemetry與OpenInference
• OpenAI與Anthropic
• LangChain與LangGraph
• LlamaIndex與CrewAI
• OpenAI Agents SDK
• 常見向量資料庫和RAG框架
• Python、TypeScript與CLI工作流

適合哪些使用場景

• 監控客服Agent的多輪會話品質
• 評估RAG檢索相關性及答案正確性
• 分析工具調用失敗與循環行為
• 比較模型和提示詞版本
• 追蹤Token、延遲和呼叫成本
• 從生產失敗構建回歸測試集
• 給人工審核員建立標註隊列
• 在本地使用Phoenix調試原型
• 為企業AI系統設置持續品質門禁

主要優勢

• 觀測、評估、實驗和改進形成閉環
• 使用開放追蹤標準降低框架綁定
• 支援開發階段和生產階段統一分析
• 對Agent軌跡和多輪會話有專門視圖
• 免費方案提供完整基礎工作流
• 用戶和評估次數在各方案中均不限
• Phoenix可本地運行並控制數據
• 支援SaaS與企業自託管選擇

使用限制與注意事項

• Free每月僅含2.5萬個Span
• Pro每月僅含5萬個Span
• 複雜Agent一次請求可能產生大量Span
• LLM評估會產生額外模型Token費用
• Trace可能包含用戶輸入和敏感業務數據
• 15天或30天保留期可能不足以支持長期審計
• 自託管、SSO和審計日誌屬於企業能力
• 評估器本身也可能出現偏差和誤判
• Phoenix採用ELv2，不是無限制寬鬆許可證
• 高流量團隊需要提前測算儲存與Span增長

Arize AX套餐價格

所有方案均提供不限用戶、評估、實驗、人工標註和標註隊列，價格與限額可能調整。

功能版本對比

成本估算要點

• 統計每次用戶請求產生的平均Span數
• 估算工具調用、重試和子Agent擴散
• 區分Trace儲存費與模型評估Token費
• 測算多模態負載帶來的儲存增長
• 確認需要保留數據的時間跨度
• 評估用戶數量是否影響內部運營成本
• 用真實生產樣本測試方案上限

Arize AX快速入門

1. 建立免費帳戶並新建Space。
2. 選擇應用使用的語言和Agent框架。
3. 安裝對應OpenInference儀器化組件。
4. 配置Arize端點、Space ID和API密鑰。
5. 運行幾次測試請求並打開Trace視圖。
6. 檢查模型、檢索、工具和Agent Span是否完整。
7. 添加延遲、成本和品質評估器。
8. 建立儀表盤和異常監控後再接入生產。

RAG評估教學

1. 對LLM、Retriever和Embedding步驟啟用追蹤。
2. 運行一組具有代表性的查詢。
3. 確認檢索片段和最終答案落在正確Span。
4. 添加檢索相關性評估器。
5. 添加答案正確性與幻覺評估器。
6. 把失敗Trace保存為數據集樣本。
7. 修改檢索參數、提示詞或模型。
8. 運行實驗並比較各項分數和成本。

生產Agent改進教學

1. 按會話追蹤完整Agent軌跡。
2. 啟用Signal發現重複失敗模式。
3. 抽查高影響問題並進行人工標註。
4. 為工具選擇、最終答案和軌跡創建評估器。
5. 把典型失敗加入回歸數據集。
6. 在Playground中回放並修改提示詞或邏輯。
7. 運行對照實驗驗證改動是否提升。
8. 上線後監控同一失敗模式是否再次出現。

隱私與安全

Trace通常包含提示詞、模型輸出、檢索文本、工具參數和用戶反饋，因此接入可觀測平台前必須完成數據分類與脫敏。

• 避免記錄密碼、Token和完整憑證
• 對個人資訊和業務機密進行脫敏
• 按團隊設定Space與組織權限
• 根據地區要求選擇美國、歐盟或加拿大數據區
• 企業客戶評估自託管、SSO和審計日誌
• 明確刪除、保留和備份策略
• 限制評估模型接觸敏感Trace

Phoenix開源情況

Arize Phoenix的代碼公開在GitHub上，支援追蹤、評估、實驗以及提示詞的迭代，且可在本地或自有的基礎設施上運行。

ELv2允許廣泛使用和修改，但包含對託管服務等用途的限制，商業再分發前應閱讀許可證。

基本資訊

推薦指數

綜合推薦指數為4.8分，滿分為5分。Arize AI適合那些希望將生產過程的可觀測性、離線評估以及Agent的改進整合為一個閉環的團隊，而Phoenix則為重視本地部署的開發者提供了成熟的解決方案。

常見問題

Arize AI主要解決什麼問題？

它用於追蹤AI應用、評估輸出品質、發現生產失敗並驗證改進效果。

Arize AX和Phoenix有什麼區別？

AX是託管商業平台，Phoenix是可本地部署的開源可觀測與評估工具。

Arize AX免費嗎？

Free方案免費，每月包含25,000個Span、1GB儲存和15天保留。

Pro多少錢？

AX Pro目前的費用為每月50美元，包含50,000個Span、10GB的儲存空間，以及30天的資料保留時間。

評估次數有限制嗎？

官方方案表將評估標為不限，但調用外部模型進行評估仍會產生模型Token費用。

支援Agent監控嗎？

支持，可查看Agent軌跡、工具調用、會話，並用Signal發現失敗模式。

可以自託管嗎？

Phoenix可自行部署，Arize AX自託管屬於Enterprise方案。

Phoenix是什麼許可證？

Phoenix採用Elastic License 2.0，並非MIT或Apache等寬鬆許可證。

能監控傳統機器學習模型嗎？

可以，Arize也提供分類、回歸、電腦視覺和傳統模型監控能力。