AI21

AI21 Maestro是什麼

AI21 Maestro是AI21 Labs為生產級AI Agent所開發的動態規劃、排程及優化系統。它會根據任務、要求與預算，在運行時選擇適當的模型、工具及執行路徑，並對中間結果及最終輸出進行驗證與修正。

一句話介紹

Maestro可以將企業文件、網頁、模型和工具組合成可追蹤的知識Agent，並在品質、成本與回應時間之間自動尋找最佳執行方案。

產品定位

• 面向高價值、資料密集型企業任務。
• 用於創建和優化RAG知識Agent。
• 強調運行時動態規劃而非固定鏈路。
• 以要求驗證和執行追蹤提高可控性。
• 支援AI21與第三方模型統一編排。
• 既有API和SDK，也可透過平台配置。

核心功能

• 把複雜任務拆解為多步驟執行計劃。
• 選擇合適模型、搜尋和外部工具。
• 並行探索多個候選路徑。
• 按品質、成本和延遲預算分配計算。
• 逐步檢查要求滿足情況。
• 發現問題後自動重試或修正。
• 提供執行圖、置信度與驗證報告。
• 保存Agent配置供後續API調用。

動態規劃與編排

每次運行時，Maestro都會根據任務需求，構建由模型調用及工具操作所組成的執行樹，而非始終使用固定的步驟順序。計劃會隨著需求、資料和預算的變化而調整。

• 分析任務目標與顯式要求。
• 選擇需要執行的檢索和推理步驟。
• 比較不同路徑的預期品質和成本。
• 在運行過程中調整下一步。
• 在額外計算價值不足時停止。
• 輸出完整執行軌跡供審查。

多路徑競爭

• 為複雜問題生成多個候選策略。
• 允許平行路徑使用不同模型或工具。
• 比較候選結果對要求的滿足程度。
• 淘汰低品質或高成本路徑。
• 保留表現最佳的結果。
• 並行計算會增加實際成本與延遲。

內建驗證與自動修正

Maestro會根據用戶所定義的內容、風格、格式以及相關規範等要求，來對輸出結果進行評分。如果評分低於預期，則可以繼續搜尋、推理或修正，直到符合要求，或者預算耗盡為止。

• 為每項要求返回單獨得分。
• 提供整體滿意度評分。
• 在中间步驟發現錯誤。
• 避免錯誤持續傳遞到後續流程。
• 自動嘗試修復不合格結果。
• 驗證結果仍需結合人工抽查。

預算控制

品質、成本與延遲優化

• 為任務設定可接受的品質門檻。
• 限制單次運行可使用的計算預算。
• 根據場景設定延遲目標。
• 觀察不同配置的質量成本曲線。
• 將簡單任務路由到較輕執行路徑。
• 僅在預期品質收益值得時增加計算。
• 按團隊、代碼庫和Agent歸因支出。

RAG知識檢索

Maestro是建立在AI21的RAG Engine之上的，它可以透過規劃層來結合檔案搜尋、網頁搜尋以及後續的問題處理。其回應是以企業文件作為上下文，但RAG仍無法完全消除錯誤的回答。

• 上傳檔案後自動解析和索引。
• 從指定文件中檢索相關內容。
• 透過網頁搜尋補充公開資訊。
• 支援連續追問和澄清。
• 將檢索結果用於多步推理。
• 適合內部知識和客戶應用。

支援的檔案類型

• PDF文件。
• Microsoft Word文件。
• 純文字檔案。
• Markdown檔案。
• HTML檔案。
• 雲端資料源連接需按帳戶能力確認。
• 掃描件、複雜表格和圖片應單獨測試解析品質。

結構化RAG與資料抽取

• 從複雜文件提取結構化資訊。
• 識別表格、欄位和文件關係。
• 將抽取結果用於後續Agent步驟。
• 適合合約、報告和技術文件。
• 可用於資料遷移和標準化。
• 高風險字段必須與原文核對。

模型無關編排

Maestro可以使用AI21自有的模型，也可以調用由AI21管理，或是由使用者自行提供的金鑰的第三方模型。團隊可以自行指定模型，或者讓系統根據任務需求自動選擇。

• 支援AI21 Jamba系列模型。
• 可使用OpenAI部分模型。
• 可使用Anthropic部分模型。
• 可使用Google部分模型。
• 透過統一介面降低上層整合差異。
• 第三方可用模型會隨服務更新。
• 模型使用仍受各供應商條款約束。

BYOK自帶密鑰

• 在平台中配置第三方模型憑證。
• 當前文件列出OpenAI、Anthropic和Google。
• 在Agent運行時引用已配置模型ID。
• 第三方費用由相應供應商計算。
• 應使用專用項目和受限金鑰。
• 定期輪換並監控異常呼叫。
• 不要把密鑰直接寫入用戶端代碼。

遠端MCP工具

Maestro可作為MCP用戶端，連接到能夠上網的遠端MCP伺服器，用於調用外部工具、服務及資料。本文件說明中僅支援遠端伺服器，不支援僅在單一裝置上運行的本地MCP伺服器。

• 連接可透過網際網路存取的遠端MCP服務。
• 使用常見認證方式保護呼叫。
• 把外部工具加入Agent執行計劃。
• 支援需要多步驟操作的流程。
• 工具返回值可進入後續驗證。
• 外部寫操作應加入人工批准。

保存和復用Agent

• 保存Agent名稱和描述。
• 保存系統指令和業務邊界。
• 保存工具與模型配置。
• 在後續API調用中直接引用。
• 減少重複傳遞大型設定。
• 有利於統一團隊工作流。
• 修改配置時應進行版本和回歸測試。

執行追蹤與可觀測性

• 查看可視化執行圖。
• 了解模型、工具和檢索呼叫順序。
• 查看各項要求驗證得分。
• 定位失敗或低品質步驟。
• 分析成本和延遲來源。
• 比較不同預算配置。
• 為審計保留必要運行記錄。

支援的回應語言

API目前支援阿拉伯語、荷蘭語、英語、法語、德語、希伯來語、義大利語、葡萄牙語和西班牙語的輸出，預設使用英語。中文不在目前公開的列舉之中。

適合哪些用戶

• 構建企業知識Agent的AI工程團隊。
• 需要高準確度RAG的金融和法律機構。
• 處理大量合約、報告及技術文件的公司。
• 希望統一多家模型供應商的開發者。
• 需要控制Agent成本與延遲的平台團隊。
• 希望保留執行與驗證記錄的受監管組織。
• 將AI研究與分析流程投入生產的公司。

典型使用場景

• 生成金融研究報告。
• 自動準備RFP回應。
• 開展併購盡職調查。
• 審查合約組合和關鍵條款。
• 分析投資說明書和財務文件。
• 總結臨床試驗結果。
• 排查高價值設備技術問題。
• 從專利中提取權利要求要素。
• 將舊系統數據轉換為標準結構。

不太適合哪些情況

• 只需要一次簡單聊天問答的個人。
• 追求最低延遲且不需要驗證的場景。
• 必須完全離線且在本地上運行的組織。
• 要求原生中文輸出枚舉的應用。
• 沒有工程能力管理工具權限的團隊。
• 希望獲得完整Maestro源碼的開發者。
• 不能接受用量計費和成本波動的項目。

API使用方式

• 建立一次 Maestro run 來執行任務。
• 傳入使用者輸入及明確的 requirements。
• 配置檔案搜尋或網頁搜尋資源。
• 指定模型或使用自動選擇。
• 設定low、medium或high預算。
• 選擇需要返回的追蹤資訊。
• 讀取輸出、要求得分和整體評分。

價格與試用額度

AI21文件說明平台主要是根據token或特定端點的使用量來計費，新帳戶可獲得10美元的試用額度，有效期為三個月，此額度可用於API、SDK及Playground。當額度用完或過期後，就需要添加有效的付款方式。

影響成本的因素

• 輸入和輸出token數量。
• 選擇的模型與供應商。
• 低、中或高預算等級。
• 執行路徑和驗證循環數量。
• 網頁搜尋、檔案檢索和外部工具調用。
• 失敗重試與自動修正次數。
• 第三方雲和數據服務費用。

如何控制成本

• 簡單任務預設從Low預算開始。
• 縮小檔案搜尋範圍和網頁域名。
• 將明確任務路由到較輕模型。
• 僅為關鍵要求啟用高強度驗證。
• 監控API回應中的用量字段。
• 按團隊、應用和Agent設定預算。
• 使用樣本集比較品質和單位成本。

創建RAG Agent教學

1. 創建AI21帳戶並安全保存API密鑰。
2. 上傳少量經過授權的測試文件。
3. 正在等待檔案自動解析和建立索引。
4. 編寫Agent身份、任務和禁止範圍。
5. 添加檔案搜尋並限定檔案或標籤。
6. 從低預算執行的代表性問題。
7. 核查引用、回答和驗證報告。
8. 保存Agent並用API接入測試應用。

requirements配置教學

1. 將任務目標與評價要求分開編寫。
2. 為每項要求使用清晰名稱。
3. 描述內容、格式、語氣和護欄。
4. 避免互相衝突或不可驗證的要求。
5. 設定合適預算並執行測試。
6. 查看每項要求得分和失敗原因。
7. 修改要求或工具後再次回歸測試。

MCP工具接入教學

1. 確認MCP伺服器可透過網際網路安全訪問。
2. 審查工具能力、參數和寫入風險。
3. 配置專用身分與最小權限認證。
4. 在Maestro工具參數中添加遠端服務。
5. 使用只讀和測試數據驗證呼叫。
6. 為敏感動作增加人工批准。
7. 監控調用日誌、錯誤和異常費用。

評測與上線流程

1. 建立真實任務和標準答案資料集。
2. 定義準確度、要求滿足率與延遲指標。
3. 分別測試不同模型和預算等級。
4. 檢查失敗、拒答和錯誤工具調用。
5. 測算每個合格結果的總成本。
6. 小流量上線並保留人工複核。
7. 持續監控數據、模型和任務漂移。

安全與資料治理

• 只上傳已獲授權的企業資料。
• 為文件、Agent和項目劃分權限。
• BYOK使用獨立且可撤銷的密鑰。
• 對遠端工具採用最小權限。
• 敏感寫操作設定人工確認。
• 明確運行日誌和文件保留週期。
• 採購前核驗信任中心與合約覆蓋範圍。
• 刪除測試數據並定期輪換憑證。

Agent可靠性風險

• 驗證模型本身也可能判斷錯誤。
• 高分不一定代表事實完全正確。
• 檢索遺漏會限制最終答案。
• 複雜文件解析可能破壞表格和上下文。
• 第三方模型與工具會引入額外故障。
• 動態執行使成本和延遲存在波動。
• 高風險任務仍需領域專家審核。

產品優勢

• 在運行時動態選擇執行路徑。
• 將品質、成本與延遲置於同一控制面。
• 對每項明確要求進行評分和修正。
• 支援檔案、網頁和遠端MCP工具。
• 可以統一編排AI21與第三方模型。
• 支援BYOK降低模型鎖定。
• 提供執行圖和結構化驗證報告。
• 官方Python和TypeScript SDK便於集成。

產品限制

• 完整Maestro平台不是開源軟體。
• 高預算和多路徑會增加費用與延遲。
• 驗證無法消除所有事實與推理錯誤。
• 當前回應語言列表不包含中文。
• 本地MCP伺服器不在目前支援範圍。
• 複雜權限與工具調用需要工程治理。
• 價格受多個模型和服務共同影響。
• 公開頁面沒有簡單固定月費套餐。
• 企業敏感數據需完成額外合規評估。

GitHub與開源狀態

AI21 Labs擁有官方GitHub組織，公開了Python和TypeScript SDK，相關客戶端採用Apache 2.0許可證，並包含Maestro調用範例。SDK開源並不代表Maestro的動態規劃、驗證引擎以及託管平台的源碼也會被公開。

基本資訊

推薦指數

推薦指數：4.6 / 5。AI21 Maestro適合那些需要將高精準度的RAG技術以及複雜的知識處理任務投入實際應用，同時還要控制成本與延遲時間的企業AI團隊。

正式選型應通過自有數據集驗證準確度、解析品質、驗證可信度、中文需求以及每個合格結果的真實成本。

常見問題

AI21 Maestro是什麼？

它是用於創建、編排和優化生產級RAG與知識Agent的動態規劃系統。

Maestro免費嗎？

新帳戶有10美元的試用額度，有效期為三個月，之後需根據使用量付款。

支援第三方模型嗎？

支援AI21管理的第三方模型，也支援OpenAI、Anthropic和Google的BYOK配置。

支援中文嗎？

目前API公開的response_language枚舉不包含中文，應使用真實任務測試其他輸出方式。

支援MCP嗎？

支援可透過網際網路存取的遠端MCP伺服器，目前文件不支援僅在本地運行的MCP伺服器。

可以上傳哪些檔案？

支援PDF、DOCX、TXT、Markdown和HTML。

高預算一定更準確嗎？

通常會增加路徑和驗證的機會，但無法保證所有任務都更準確。

Maestro是開源的嗎？

平台不開源，官方Python和TypeScript SDK採用Apache 2.0許可證。

適合個人聊天嗎？

它更適合開發者與企業的知識工作流程，用於一般聊天可能過於複雜。