工具簡介
Orq.ai 是一個為 AI 產品、工程及治理團隊所設計的平台,它將多模型網關、MCP 工具網關、智能體運行、提示詞管理以及評測與可觀測性功能整合在同一個工作區中。開發者可以透過相容 OpenAI 與 Anthropic 調用方式的介面來接入多種模型,並在運行時統一管理預算、隱私及路由規則。
它並不自稱為單一的大模型,而是用於連接與管理模型、工具及智能體的基礎設施。目前官方列出了 500 多個模型以及 30 多家供應商,而具體的清單與價格則會隨著供應商的更新而改變。
主要功能
AI 網關與多模型路由
AI Gateway 讓應用透過一個端點調用不同的供應商或自有模型,並在不受上層業務代碼影響的情況下切換模型。
- 支援自帶供應商金鑰,亦可使用 Orq.ai 管理的模型額度。
- 提供條件路由、權重與輪詢負載均衡、延遲策略和智慧路由。
- 支援跨供應商回退、重試和回應緩存,降低單一模型故障影響。
- 可連接 Azure AI Foundry、Vertex AI 或相容介面的私有與微調模型。
智能體、RAG與MCP工具
團隊可以在 AI Studio 設定託管智能體、檢索增強生成流程及工具調用,再透過 Agent Runtime 來運行。
- MCP Gateway 可統一連接遠端 MCP 服務,並對工具調用應用策略與追蹤。
- 知識庫與 RAG 功能用於導入資料並為智能體提供檢索上下文。
- 可重複使用的技能、提示詞版本和部署配置,減少在程式碼中分散維護指令。
評測、追蹤與治理
每次模型請求、智能體步驟、工具調用或評估都會形成可查詢的跨度,用於分析延遲、成本和輸出品質。
- 支援資料集實驗、內建或自訂評估器、提示詞比較及上線前驗證。
- 可設定項目、用戶或金鑰級預算、告警與硬性額度。
- 支援敏感資訊檢測與遮蔽、審計記錄、角色權限及資料保留策略。
- 相容 OpenTelemetry,便於將現有的智能體鏈路納入統一追蹤。
使用教學
- 建立 Orq.ai 帳戶與工作區,於設定中產生 API 金鑰。
- 選擇使用 Orq.ai 管理額度或自帶模型供應商金鑰,並核對模型地區與資料保留要求。
- 將現有客戶端的基礎端點改為 Orq.ai 閘道,或安裝 Python、Node SDK 進行開發。
- 配置模型路由、重試、回退、預算、敏感資訊規則和日誌保留期限。
- 用測試資料集運行評測,檢查準確性、工具調用、成本和延遲後再發布部署。
- 上線後透過追蹤與儀表板查看異常,並持續調整模型、提示詞和防護規則。
適合哪些用戶
- 需要透過一個介面管理多家 LLM 並減少供應商鎖定的工程團隊。
- 正在構建客服、內部助手、RAG 或多工具智能體的產品團隊。
- 需要統一追蹤成本、延遲、品質和失敗鏈路的 AI 平台團隊。
- 有數據駐留、私有網路、審計、權限及本地部署要求的企業。
- 希望產品經理與開發者在同一空間管理提示詞、實驗和發布版本的組織。
價格與套餐
Orq.ai 目前提供按量付費和企業定製兩種方案,模型費用與平台計量項目分開計算。未添加帳單資訊時仍可測試,但調用會受到每日額度限制。
| 項目 | 按量付費 | 企業方案 | 說明 |
|---|---|---|---|
| 基礎方案 | 按實際用量 | 聯絡銷售 | 企業合約通常按年簽訂 |
| 自帶密鑰網關 | 每月 100 萬次請求免費,之後收取 4% | 訂製 | 模型賬單由原供應商收取 |
| Orq.ai 管理模型 | 按提供商標價,額度充值收取 4.5% 平台費 | 訂製 | 模型價格隨供應商變化 |
| 可觀測性跨度 | 每月 10 萬個,之後每 10 萬個 7 歐元 | 訂製 | 請求和智能體步驟可能各產生跨度 |
| 處理數據 | 每月 1 GB,之後每 GB 3 歐元 | 訂製 | 包括輸入、輸出、提示詞和元數據 |
| AI Studio 席位 | 每席位每月 35 歐元 | 訂製 | 只使用網關密鑰的成員不收席位費 |
| 智能體運行 | 每月 500 次,之後每次 0.01 歐元 | 訂製 | 一次運行還可能產生多個計費跨度 |
| 數據保留 | 30 天 | 訂製 | 企業可協商保留與部署方式 |
按量方案還包含每月免費額度,未綁定支付方式時,官方說明為每天最多 50 次請求。可選附加項、年付承諾、稅費及企業批量折扣未計入公開估算,最終以結算頁或合約為準。
產品優勢
- 一個網關同時覆蓋模型和 MCP 工具,便於把策略、預算與追蹤集中管理。
- 相容常用 API 協議,已有應用通常只需較少改動即可開始路由。
- 提示詞、評測、部署與生產追蹤位於同一平台,減少跨工具排查成本。
- 企業方案支援自有 VPC 與本地部署,可滿足更嚴格的網路與資料控制要求。
使用限制與注意事項
- 500多個模型並不表示每個帳戶、地區和模態都始終可用,應以模型目錄與控制台為準。
- 網關會增加一個運行環節,智慧路由、重試和回退也可能影響端到端延遲與費用。
- 一次智能體運行可能包含多個模型、工具和評測步驟,因此不能只按運行次數估算總成本。
- 日誌可能包含提示詞、輸出和元數據,應配置遮蔽、訪問權限與適當的保留期限。
- 服務條款明確規定,平台不得用於處理受 HIPAA 監管的健康資訊,亦不應將此類資料直接傳送至該服務。
- 模型輸出仍可能錯誤或帶有偏差,高風險業務需要人工複核、評測集和故障回退。
平台與部署方式
| 方式 | 可用性 | 適用場景 | 注意事項 |
|---|---|---|---|
| Orq.ai 雲服務 | 按量與企業方案 | 快速接入網關、Studio 和追蹤 | 按方案配置數據保留 |
| 自有 VPC | 企業方案 | 需要私有網路與雲帳戶控制 | 需聯繫銷售與實施團隊 |
| 本地部署 | 企業方案 | 隔離網路或嚴格數據控制 | 支持情況與維護責任寫入合約 |
| 網頁控制台 | 支持 | 配置、實驗、監控與治理 | Studio 使用者按席位計費 |
| 獨立移動客戶端 | 官方暫未公開 | 不作為當前主要接入方式 | 可透過 API 服務移動應用 |
API、SDK與開源情況
平台提供相容 OpenAI 與 Anthropic 調用方式的網關 API,以及部署、智能體、評測和其他資源接口。官方 Python 與 Node SDK 支持認證、流式回應、重試和部署調用,其中 Python SDK 文件仍標註為測試版,生產環境宜使用固定版本。
在官方的 GitHub 上,可以找到 Python、TypeScript SDK、範例程式,以及一些採用 MIT 授權的專案。不過,目前這兩個核心 SDK 的儲存庫並沒有標明其授權類型。僅僅能夠公開閱讀這些內容,並不代表就可以使用它們的開源代碼;此外,Orq.ai 的託管平台本身也並未被宣佈為開源,因此在使用之前,應先確認每個儲存庫的授權條款。
隱私與安全
Orq.ai 表示其雲服務在歐盟境內建置與託管,可提供傳輸與靜態加密、敏感資訊遮蔽及可配置的資料刪除功能,並聲明不會使用客戶的提示詞、輸出內容或追蹤訓練模型。實際上,其服務還會受到所選用的第三方模型供應商的保留政策影響。
按量方案提供標準數據處理協議,企業可協商審計報告、數據駐留及專用條款。涉及敏感數據時,應同時審查 Orq.ai 與最終模型供應商的處理範圍。
常見問題
Orq.ai 可以免費使用嗎?
在未綁定支付方式時,可以使用有限的每日請求額度;按量方案則包含網關請求、跨度、數據以及智能體運行的月度額度。一旦超過這些額度,就會根據不同的計費項目來收取費用,因此並非無限量且永久免費。
自帶模型密鑰還會收費嗎?
每月前 100 萬次自帶密鑰請求免費,超出後 Orq.ai 收取 4% 費用,模型供應商仍按其規則直接向用戶計費。
Orq.ai 是開源平台嗎?
不是。部分範例和工具有開源許可證,但核心託管平台並未聲明為開源,公開的 SDK 儲存庫也需逐一確認許可證。
桂公網安備45132202000164號