HoneyHive

一句話介紹

HoneyHive是一個專為生產級AI代理而設的可觀測與評估平台，能協助工程團隊追蹤模型、工具、流程以及多個代理的運作狀況，透過自動與人工評估來發現問題，並將實際故障轉化為持續性的回歸測試資料。

工具簡介

HoneyHive將可觀測性、評估、資料集、提示詞以及持續整合等功能整合在相同的開發生命週期中。它並非模型供應商，也不會為用戶建立業務代理，而是負責記錄代理實際執行的動作、衡量其執行結果的品質，並協助團隊找出問題的成因。

該平台以 OpenTelemetry 作為主要的追蹤基礎，並提供 Python、TypeScript、開放式介面、命令列，以及多種自動插桩方式。開發者可以使用雲端上的免費版本，而企業則可選擇多租戶、單租戶、混合或自托管的部署方式。

核心數據模型

主要功能

分散式鏈路追蹤

HoneyHive可以記錄模型的推論過程、所使用的外部工具、搜尋結果、各個步驟的順序，以及完整的用戶會話內容，同時還能保留各個元素之間的父子關係。工程師可以依照時間順序重新播放整個運作過程，並直接跳到出現錯誤、超時或行為異常的那一部分。

長時間代理調試

平台針對持續數小時或數天的代理軌跡，顯示重試、循環、子代理交接以及工具調用等狀態。它適合用來判斷代理在哪個步驟上偏離了目標，而非僅僅查看最終的回答是否正確。

多代理可觀測

多個代理或子代理可以運用統一的事件模型來記錄決策、工具、狀態以及交接內容。團隊需要傳遞穩定的追蹤識別碼與上下文，否則在跨進程運作時，仍可能會出現無法相互關聯的片段。

自動插樁

Python和TypeScript的工具包是基於OpenTelemetry所開發的，它們能自動擷取常見的模型框架、代理框架以及外部調用資訊。該平台聲稱可支援50多個常用的程式庫，包括LangChain、LangGraph、AWS Strands、Google ADK和OpenAI Agents SDK等。

自訂跨度

對於那些無法被自動識別的函數，開發者可以透過裝飾器或手動方式來記錄輸入、輸出、錯誤、持續時間、元資料、回饋以及各種指標。追蹤的細節程度越高，除錯的能力就越強，但同時也會增加事件處理的負擔、延遲，以及敏感資料被泄露的風險。

生產品質監控

團隊可以在即時流量上運行評測，並將分數與用戶回饋、業務結果及特定版本相關聯。生產監控應設定採樣與成本邊界，以避免每次執行複雜代理時都觸發昂貴的模型評判。

自訂儀表板

追蹤、元數據和評測指標可以依模型、版本、用戶群、環境或功能進行分組，並以圖表呈現。布林指標可用於查看通過率，數值指標則可計算平均值、分位數與極值，而字串則適合用於分類與篩選。

告警與漂移檢測

平台可以圍繞錯誤、延遲、成本、品質及分佈變化建立監控，協助團隊及時發現代理退化。告警閾值需要結合流量與業務風險來調整，過於敏感會產生干擾，過於寬鬆則可能錯過真正的故障。

客戶端評測

應用可以在自己的運行環境中計算格式、安全、個人資訊或業務規則指標，再把結果寫入追蹤或跨度中。用戶端評測適合在數據離開系統前完成敏感檢查，而且同名指標不會被服務端評測覆蓋。

服務端代碼評測

開發者可以在HoneyHive中配置代碼評估，對已上傳的日誌、跨度或完整會話計算確定性指標。代碼評估適用於格式、欄位、工具順序以及可驗證的業務規則，其結果比模型裁判更穩定。

LLM裁判評測

LLM評分器會根據自訂標準，對非結構化的回應、搜尋結果或代理軌跡進行打分，並能提供相關說明。現行的文件說明指出，伺服器端模型評判時會使用GPT-4o，而敏感資料與成本則需透過採樣、合約及部署方式來進行評估。

人工評測與標註隊列

領域專家可以在界面上依自訂量表進行評分、評論，並建立標註隊列，這種方式適用於醫療、法律、金融或品牌語氣等難以完全自動判斷的任務。人工標準必須先加以統一，否則不同的標註者所給出的結果將無法比較。

評測器驗證

平台允許先以近期事件或手動樣本測試評測器，再決定是否在生產環境中部署。模型裁判並非天生可靠，應與專家判斷對齊，檢查偏差、提示注入、位置偏好以及評分穩定性。

在線評測採樣

服務端評測可以僅對生產或預發布事件的一定比例進行運行，以此控制成本與處理量。離線實驗則通常不採用相同的取樣邏輯，以確保在不同配置下仍能於同一個完整資料集上進行比較。

資料集管理

資料集由輸入內容、標準答案、對話歷史以及元數據所構成，可從生產追蹤中篩選出來，也可透過介面或SDK上傳。團隊能夠持續將真實的故障與邊緣案例加入基準集，從而形成更貼近業務需求的測試資源。

資料集導入與導出

介面支援JSON、JSONL和CSV檔案，SDK也能批量建立和讀取資料點。資料集可導出用於外部評測、歸檔或微調，但導出前應清除使用者身分與機密內容。

離線實驗

實驗將待測試函數、統一資料集以及一組評測器結合起來，適用於比較提示詞、模型、檢索策略、分塊方式或完整的代理架構。每次運行都會記錄相關指標與追蹤資料，以便逐個樣本比較其表現的惡化或提升情況。

並行實驗

評測框架可以並行執行數據點並控制工作線程數量，從而縮短大型測試集的運行時間。並行度仍受模型供應商的限制、預算、共享狀態以及目標系統的容量所限制。

Git上下文

在從代碼倉庫執行實驗時，SDK可以記錄每次的提交內容、分支狀態、作者資訊、遠端地址，以及工作區中是否有尚未提交的修改。這些資訊有助於將實驗結果與特定的代碼版本對應起來，但同時也可能暴露出內部倉庫的元數據，因此應根據環境和權限來決定是否要保留這些資訊。

持續集成門檻

團隊可以在代碼變更時執行評測，設定品質門檻，並在指標惡化時阻止發布。測試集應包含關鍵的業務失敗案例，而非僅使用簡單的樣本，否則綠色檢查仍無法證明其能在實際環境中穩定運作。

在線實驗與A/B測試

應用程式可以將實驗識別碼、設定版本以及使用者回饋納入追蹤範圍，再在儀表板上比較控制組與實驗組的狀況。HoneyHive負責記錄與分析，而流量分配則仍由現有的功能開關或實驗系統來處理。

提示詞Playground

Playground用於快速測試提示、模型、函數和外部工具，並可從追蹤記錄中找出失敗事件以持續迭代。它適合用來探索與重現問題，不應該繞過正式的資料集、評估流程及代碼審查，就直接修改用於生產環境的提示。

提示詞版本管理

每個提示配置包含模板、模型、超參數和工具，可以保存歷史並部署到應用。版本化能減少手動複製的錯誤，但模型供應商升級、外部知識及運行時工具的變化仍可能影響結果。

生產故障轉數據集

工程師可以從日誌倉中篩選出錯誤、分數較低或價值較高的運行記錄，並將其整理成資料集。接著，以相同的案例來比較修復前後的提示、模型與代碼，從而形成從觀察到改進的閉環。

評測方法對比

從追蹤到改進的工作流

1. 為生產、預發布和開發環境建立獨立專案與API金鑰。
2. 使用OpenTelemetry或官方SDK來連接模型、工具、檢索及代理步驟。
3. 先在測試環境檢查跨度結構、父子關係、字段和敏感數據。
4. 為延遲、錯誤、成本、工具正確性及輸出品質建立基礎指標。
5. 從真實流量中篩選失敗、低分、投訴和高價值邊緣案例。
6. 將案例整理為帶有輸入、標準答案和元數據的版本化資料集。
7. 用代碼、模型裁判與領域專家建立互補評測器並完成校準。
8. 運行提示、模型或架構實驗，逐樣本比較提升與新退化。
9. 將關鍵評測加入持續整合，並在生產環境中進行採樣與告警。
10. 持續將新故障加入數據集，讓可靠性標準隨真實業務演進。

接入步驟

1. 建立HoneyHive工作區與專案，並為該專案產生獨立的API金鑰。
2. 根據技術架構安裝Python或TypeScript工具包，或使用OpenTelemetry發送追蹤資訊。
3. 初始化追蹤器並設定項目、環境、會話名稱及可選的私人服務地址。
4. 運行一條最小請求，確認模型、工具、鏈路和會話層級正確。
5. 為自訂函數添加跨度，記錄必要的錯誤、耗時、回饋與業務元資料。
6. 屏蔽密碼、令牌、個人資訊、文件正文和其他不應上傳的數據。
7. 在日誌倉重放運行，驗證搜尋、過濾、圖表和團隊權限。
8. 建立小型數據集和確定性評測器，再逐步加入模型裁判。
9. 設定事件預算、請求速率、保留策略、採樣及產生告警。
10. 在正式擴大流量前完成安全、DPA、BAA或私有部署評估。

價格與套餐

價格資訊於2026年8月23日核驗，實際金額、稅費、匯率及優惠可能變動，最終以結算頁面顯示為準。

HoneyHive目前提供開發者免費版與企業級訂製方案。免費版不需要信用卡，適合用於開發及小規模生產測試；企業版則增加了使用量限制、身份驗證、技術支援、資料保留、合規性要求以及部署靈活性等功能。

事件如何計數

一個事件指的是單個追蹤跨度或一組指標標籤，而月度總量則等於跨度數與指標數之和。一次複雜的代理運行可能包含大量的模型、工具、重試動作以及各種指標，因此10000個事件並不等同於10000次用戶請求。

免費版包含什麼

開發工具包含自動與人工評測、完整的可觀測功能、提示詞版本與部署功能、持續整合功能，以及30天的資料保留服務和社群支援。雖然提供社會化單點登入及基本角色控制功能，但沒有企業級的SAML功能、自訂角色設定以及專屬支援服務。

Enterprise增加什麼

Enterprise提供自訂使用量、無限數量的使用者與工作區、SAML或自訂式的單點登入功能、自訂的資料保留政策、SLA與服務額度規定、DPA、BAA協議，以及專屬的技術客戶經理和季度業務評審服務。具體的價格與合約期限則需聯繫銷售人員才能得知。

部署方式對比

自託管僅屬於Enterprise，並不意味著使用者可以免費獲得完整的平台代碼。企業需要確認部署包、升級、遙測、離線依賴項目、備份、災難復原以及相關的支援責任。

SDK、CLI與開放介面

Python SDK

Python工具包支援OpenTelemetry、同步與異步裝飾器、手動跨度定義、上下文傳播、實驗功能以及多種模型插桩器。代碼倉庫公開並不等同於自動獲得開源權利，若缺乏明確的許可證，則應視為保留版權。

TypeScript與MCP

目前活躍的 TypeScript API Client 用於資料介面操作；舊版的 TypeScript SDK 儲存庫雖然具有 MCP 服務功能，但已經被歸檔。新建專案應依照現有的文件說明來選擇適當的套件並固定其版本，以避免依賴那些已經停止維護的生成式客戶端。

開放介面與其他語言

除了 Python 和 TypeScript 之外，其他語言也可以直接傳送 OpenTelemetry 資料、呼叫開放式介面，或是根據 OpenAPI 標準來建立類型化的用戶端。不過，自行建立的用戶端仍需處理認證、限流、重試、分頁以及版本相容性等問題。

HoneyHive Daemon

Daemon用於收集Claude Code等編碼代理的遙測資料並將其導出至HoneyHive，適合用於觀察工具的調用情況及代理的執行狀態。編碼軌跡可能包含儲存庫路徑、程式碼、提示和命令等資訊，在啟用之前應先設定排除項目及進行資料脫敏處理。

開源狀態

HoneyHive平台本身並非完整的開源專案，其雲端控制台、企業服務以及自托管部署方式仍受商業套餐與合約的約束。部分SDK、CLI、OpenAPI及技能組件是以MIT許可證公開的，這僅表示這些相關的程式碼庫可以依照該許可證的規定來使用而已。

Realign曾作為獨立的AI測試與模擬框架公開，但現已變為只讀格式。將公開的工具與封閉式平台區分開來，可以避免人們誤以為只要取得免費的克隆版本，就能使用完整的HoneyHive服務。

適合哪些用戶

• 正在開發多步驟AI代理、RAG或工具調用應用的工程團隊。
• 需要調試重試、循環、子代理交接和長時運行的平台團隊。
• 希望將真實生產故障持續轉化為回歸數據集的AI產品團隊。
• 需要代碼、模型裁判、人工標註和用戶反饋組合評測的組織。
• 希望在持續集成中設定AI品質發布門檻的開發團隊。
• 需要SAML、DPA、BAA、SLA、自訂保留及私有部署的企業。
• 已經使用OpenTelemetry並希望統一AI遙測標準的基礎設施團隊。
• 需要監控編碼代理和企業內部AI平台的技术負責人。

不太適合哪些用戶

• 只想使用通用聊天機器人而不開發AI應用的普通用戶。
• 只需要傳統伺服器CPU、記憶體和網路監控的運維團隊。
• 要求完整平台代碼都採用開源許可證的組織。
• 無法對追蹤數據進行脫敏和權限治理的敏感業務團隊。
• 月度代理運行會遠超10000事件卻不願購買企業方案的團隊。
• 希望模型裁判自動代替所有領域專家及真實用戶反饋的團隊。
• 無法接受雲端資料位於美國西部且又不採購私有部署的組織。

典型使用場景

• 重放客服代理的一次失敗運行，定位漏掉政策查詢的具體工具步驟。
• 比較兩個提示版本在相同投訴數據集上的忠實度與工具正確性。
• 監控RAG應用的檢索相關性、回答忠實度、延遲和成本趨勢。
• 讓領域專家在標註隊列審核醫療或金融回答。
• 從生產低分追蹤中創建回歸樣本並加入持續集成。
• 對不同模型、分塊策略和重排序器進行並行離線實驗。
• 按代理版本和用戶群開展在線A/B測試並連接實際結果。
• 在企業私有環境部署資料平面，同時使用託管控制平面。
• 收集編碼代理工具呼叫和錯誤，觀察開發自動化的可靠性。

產品優勢

• 將生產追蹤、離線實驗、在線評測和人工標註連接成閉環。
• 事件模型覆蓋模型、工具、鏈路、完整會話和多代理軌跡。
• 基於OpenTelemetry，可與現有可觀測基礎設施共同使用。
• 同時支援代碼評測、模型裁判、人工量表和用戶反饋。
• 資料集可以直接從真實生產故障持續整理和版本化。
• 提示詞版本、部署和實驗與追蹤結果處於同一專案。
• 免費版無需信用卡，並提供10000個事件和最多5名使用者。
• 企業可選擇多租戶、單租戶、混合和完整自託管。
• 公開OpenAPI、CLI及多種SDK，便於整合與自動化。

使用限制與注意事項

• 免費版按事件而非用戶請求計數，複雜代理會快速消耗額度。
• 開發者僅保留30天數據，不適合長期合規審計。
• 免費雲端資料位於AWS美國西部區域，跨境需求需提前評估。
• 詳細追蹤可能記錄提示、文件、個人資訊、金鑰和內部代碼。
• 自動插樁會增加事件量，並可能對性能與日誌成本產生影響。
• LLM裁判本身會出錯、受提示注入影響並產生額外模型費用。
• 文件中的服務端模型裁判使用GPT-4o，敏感任務需確認資料路徑。
• 自託管和單租戶僅在Enterprise提供，價格未公開。
• 平台並非完整開源，公開SDK不能替代商業控制台和後端。
• 部分倉庫已歸檔或沒有明確許可證，新項目應核對維護狀態。
• 儀表板與評測的綠色狀態，無法取代安全測試、紅隊測試以及真實的業務結果。
• 生產品質標準需要持續更新，固定測試集可能逐漸失去代表性。

安全、隱私與合規

追蹤的資料可能包含使用者提示、模型回答、檢索到的文件、工具參數、業務識別碼、回饋以及程式碼上下文。團隊應在發送前完成各個欄位的資料脫敏處理，並使用獨立的專案金鑰，同時依照生產、測試和開發環境來分離資料。

安全與合規聲明

HoneyHive聲稱，其數據在靜態狀態及傳輸過程中皆經過加密處理，且具備SOC 2 Type II、GDPR及HIPAA等相關合規能力，同時也會接受第三方的滲透測試。對於受監管的客戶而言，仍應要求獲得相關的報告、範圍說明、例外情況說明、DPA、BAA以及子處理商的資料。

企業身份與訪問

開發者可提供社會化單點登入功能以及基本的角色控制功能；而企業版則還增加了 SAML 功能、自訂單點登入功能，以及自訂的角色和權限組。專案訪問權限與工作區訪問權限是分開管理的，且成員仍需被明確加入某個專案中。

提示詞供應商金鑰

Playground需要連接到模型供應商，現行文件說明供應商的金鑰會經過加密後儲存在瀏覽器緩存中。企業應確認瀏覽器管理、設備共享、緩存清除以及金鑰更換等作業是否符合其內部政策。

基本資訊

常見問題

HoneyHive是什麼？

它是一款AI代理可觀測與評測平台，用於記錄模型和工具軌跡、監控生產品質、運行實驗、管理資料集、組織人工標註和控制提示版本。

HoneyHive免費嗎？

開發者版免費且無需信用卡，每月包含10000個事件、最多5名使用者、1個工作區、無限項目以及30天的資料保留期。

10000個事件等於多少次請求？

沒有固定換算。每個跨度與指標都會被視為一個事件，一次包含多個工具、重試和指標的代理請求，可能會耗費數十個甚至更多的事件。

支持哪些評測？

支援用戶端與伺服器端代碼評測、LLM裁判、人工標註及用戶回饋，可用於相關性、忠實度、軌跡、工具正確性、安全與業務指標。

可以自託管嗎？

可以，但僅適用於Enterprise。企業可選擇完整自託管、託管控制平面加上私有資料平面的混合模式，或單租戶SaaS。

支援Python和TypeScript嗎？

支持。Python用於追蹤與評估，活躍的TypeScript API Client用於平台介面；其他語言可以傳送OpenTelemetry數據或依據OpenAPI生成客戶端。

HoneyHive是開源的嗎？

平台本身並非完整的開源產品。OpenAPI、CLI、部分 TypeScript 客戶端及相關功能採用 MIT 授權條款，其餘的程式碼庫則需另行確認。

Realign還在維護嗎？

不再主動維護。Realign倉庫已於2025年12月歸檔為只讀，新專案應優先使用目前的HoneyHive評測框架。

能監控多代理系統嗎？

可以。平台能夠還原子代理、工具、循環、重試和交接，但需要應用正確的傳播追蹤上下文與識別碼。

LLM裁判可靠嗎？

不能直接假定可靠。應使用代表性樣本與專家評分校準，並監控模型升級、提示注入、偏差、穩定性和成本。

適合處理醫療數據嗎？

企業方案提供BAA並宣稱具備HIPAA相關合規能力，但客戶仍需確認部署方式、模型裁判、子處理商和追蹤字段是否全部在覆蓋範圍內。

可以從Langfuse遷移嗎？

文件提供了遷移追蹤、評估以及歷史數據的處理步驟，並為企業提供專有雲與自托管兩種選項。在進行遷移之前，應先比較各個欄位的對應關係、附件、指標以及資料保留策略。

總結

HoneyHive適合那些已經將AI代理應用於實際開發或生產環境中的團隊，這些團隊需要了解代理為何會失敗、如何評估其品質，以及如何避免問題再次發生。它的核心價值在於讓生產流程、領域專家與工程實驗能夠融入同一個持續學習的循環中。

小團隊可以使用免費版來驗證事件模型與評估流程，而生產企業則應重點評估事件成本、30天保留期、資料脫敏處理、模型判斷流程、身分管理以及部署邊界等問題。唯有將評估結果與真實的業務成果、紅隊測試結果以及人為責任相結合，才能避免將可觀測儀表板誤認為是代理系統可靠性的充分證明。