Higress

一句話介紹

Higress是一種基於Istio與Envoy所構建的開源AI原生API網關，能夠統一接入大模型API、AI Agent、MCP Server以及Kubernetes推理服務，並在入口層完成路由、協議轉換、配額管理、安全性控制、快取處理以及可觀測性管理等功能。

工具簡介

Higress最初是在阿里巴巴內部開發的，用於解決網關負載過重所造成的長連接問題，以及gRPC、Dubbo在負載均衡方面的不足之處。後來，它被引入CNCF Sandbox中，以實現更開放式的管理方式。Higress既可以作為AI網關使用，也可以擔任Kubernetes Ingress、微服務網關以及安全防護網關的角色。

截至2026年8月23日，主倉庫的最新穩定版本為v2.2.4，其主代碼採用Apache-2.0許可證。該產品主要服務於平台工程、雲原生運維、AI基礎設施以及開發團隊，並不直接提供面向普通用戶的聊天或內容生成界面。

核心定位

主要功能

100多種模型統一代理

Higress能將不同模型廠商的鑒權方式、介面結構及模型名稱整合為統一的入口，目前產品頁面已註明支援100多種主流模型。這樣一來，應用程式就能減少對各廠商專有代碼的依賴，但仍需處理各模型在工具調用、多模態處理、上下文理解以及錯誤格式等方面的差異。

多模型路由與故障降級

團隊可以在同一條路徑後配置多個模型或多個認證令牌，透過輪詢、負載均衡、健康檢測和Fallback來提升可用性。降級只能減少單點故障的風險，無法保證不同模型的輸出品質、上下文長度以及合規策略完全一致。

自適應模型負載均衡

v2.2.4加入了基於實時壓力的AdaptiveScore模式，能夠結合Redis來感知集群級的併發狀況，同時仍可保留本地的降級策略。此功能適用於高併發量的推理集群，但Redis的可用性、指標延遲以及策略參數也會影響調度結果。

API Key池與令牌降級

同一模型供應商可以配置多個API Key，並為每個令牌設定異常閾值及恢復健康檢測機制。密鑰池有助於提升容量並實現故障切換，但無法用於規避模型商的帳戶限制或違反服務條款。

Token限流與配額

Higress不僅能依據QPS進行限流，還能根據輸入與輸出的Token、請求數量、併發數以及用戶端設定的額度來進行限制。v2.2.4版本支援多條匹配規則同時生效，升級時需檢查舊版本的匹配邏輯，以避免額度突然改變。

精確緩存與語義緩存

精確緩存會重複使用完全相同的請求結果，而語意緩存則會根據相似度來回傳既有的回應，這樣可以降低重複調用模型、Token的成本以及延遲。緩存可能會儲存敏感的提示與回答，但也可能對看似相似但實際上不同的問題回傳錯誤的內容，因此需要設定租戶隔離、過期時間以及排除規則。

AI可觀測

監控可以統計每秒輸入與輸出的Token數量、供應商與模型的使用量、延遲時間、成功與失敗的呼叫次數等指標。v2.2.4版本增加了LLM失敗次數的統計功能，從而填補了在流式與非流式錯誤回應中無Token使用量時的監控空白。

提示詞與請求回應處理

插件可以裝飾提示詞、應用模板、保存歷史對話、識別意圖、強制JSON輸出並轉換請求或回應。入口層的改寫會影響所有下游應用，生產環境應對模板版本、欄位相容性及回滾功能進行測試。

RAG與搜尋增強

Higress可透過插件連接知識庫、向量檢索及搜尋服務，並將檢索結果納入模型請求中。網關負責調用相關功能，但不會自動保證文件品質、召回準確率、引用正確性或知識產權的合規性。

AI數據脫敏與內容安全

資料脫敏插件可在請求進入外部模型前處理敏感欄位，內容安全插件可檢查輸入和輸出。部分插件依賴外部安全服務或自建模型，v2.2.4還加入Qwen3Guard接入，實際覆蓋率取決於規則、模型和部署。

流式請求與回應處理

Envoy的資料層與Wasm擴充功能，能夠對請求與回應的Body進行完整的流式處理，同時也能處理SSE等協定。流式連線對超時處理、連線管理、Token統計以及插件記憶體管理有更高的要求，因此不能僅以普通的短期連線來進行測試。

MCP統一治理

原生MCP代理

Higress能將分散的MCP Server代理到統一入口，從而集中處理身份認證、細粒度限流、工具發現、調用審計以及可觀測性相關的功能。用戶端只需連接到網關即可，但若網關的權限配置有誤，就可能讓不應該有權存取的用戶也能使用到更多工具。

現有API轉換為MCP

透過MCP Bridge和OpenAPI轉換工具，現有的REST或網頁服務可以在不重寫業務邏輯的情況下，被轉換為遠端MCP工具。雖然能自動完成轉換，但仍需人工審查工具名稱、參數模式、驗證機制、錯誤處理方式以及那些可能帶來風險的操作。

協議版本相容

v2.2.4加入了MCP 2026-07-28標準支援，包括無狀態請求邊界、確定性工具發現、類型化參數校驗、Origin防護以及舊新協議的隔離功能。在升級之前，應對用戶端與服務端的協議版本進行端到端相容性測試。

MCP運維接口

Higress Ops MCP Server可用於配置和管理網關，且在新版中會對敏感的調試功能以及Envoy的管理介面強制要求使用Basic認證。作為運維用型的MCP，它擁有高權限，因此應與一般的業務工具分開，並使用獨立的憑證、網路隔離措施以及審計機制。

Kubernetes推理與Gateway API

Higress支援Ingress API和Gateway API，且在v2.2.4版本中升級到了Gateway API v1.6.0，同時還加入了Inference Extension v1.4的運行時功能。它可以將Gateway的路由資源指向推理池，並根據推理端點的狀態來進行選擇與聚合。

微服務與傳統API治理

• 服務發現：可連接Nacos、ZooKeeper、Consul和Eureka等註冊中心。
• 協議：支援網頁明文、加密傳輸及gRPC，並可結合MCP Bridge處理Dubbo等服務。
• 路由：提供重寫、灰度發布、流量拆分、負載均衡和故障處理。
• 認證：提供Key Auth、JWT、Basic、HMAC、OIDC、OAuth2及外部認證等策略。
• 防護：可使用WAF、IP或Cookie維度的CC防護和本地或集群限流。
• 遷移：相容大量Nginx Ingress註解，適合分階段遷移而非一次性替換。
• 控制台：提供圖形化管理介面，仍可使用Kubernetes資源及自動化設定。

Wasm插件生態

Higress以WebAssembly作為主要的擴展方式，可使用Go、Rust和JavaScript等語言來開發插件，並透過沙箱隔離來降低記憶體安全風險。插件的版本可以獨立升級且能即時更新，無需重新啟動整個網關。

部署方式

Docker端口

Docker快速上手

1. 準備用於支援容器的測試主機及獨立工作目錄，確認8001、8080和8443端口未被佔用。
2. 選擇距離部署區域較近的Higress鏡像倉庫，生產環境固定具體版本標籤而不是長期使用latest。
3. 掛載持久化目錄並啟動All-in-One容器，僅在可信網路開放控制台端口。
4. 首次進入控制台後立即配置管理員認證、訪問邊界和備份策略。
5. 添加一個測試模型供應商和最小權限API Key，不要先導入全部生產密鑰。
6. 建立 AI 路由，設定模型對應、消費者驗證、Token 限流及故障降級。
7. 用小規模非敏感請求測試普通與流式響應、錯誤、超時和Fallback。
8. 檢查Token、延遲、錯誤和消費者指標，再逐步加入緩存、安全與MCP插件。
9. 驗證配置持久化與恢復後，才評估遷移到Helm或託管生產版本。

Kubernetes部署流程

1. 核對Kubernetes、Helm、Gateway API與Higress版本兼容矩陣，並備份現有Ingress資源。
2. 為Higress建立獨立的命名空間、服務帳戶、網路策略以及受控的鏡像倉庫。
3. 安裝或升級所需的CRD，查看控制器啟動時的版本不匹配警告。
4. 用Helm安裝固定版本，按區域設定鏡像倉庫並限制控制面與控制台暴露。
5. 先遷移一個低風險域名，逐項核對Nginx Ingress注解的相容行為。
6. 配置Gateway路由、後端服務、證書和認證插件，並進行回滾演練。
7. 為大模型和MCP流量加入Token配額、超時、重試、熔斷、Fallback與審計。
8. 接入Prometheus、日誌與告警，觀察配置傳播、資料面資源及長連接。
9. 完成容量、故障、安全和升級測試後，再擴大到生產流量。

AI網關配置流程

1. 列出需要接入的模型商、自建推理服務、Agent和MCP Server，並標記數據敏感等級。
2. 為每個環境建立獨立密鑰、消費者身份和路由，避免測試與生產共用。
3. 統一外部調用協議，同時保留模型特有參數的相容檢查和回退處理。
4. 設定每個消費者的QPS、併發、Token額度、每日預算和允許模型。
5. 配置首選模型、備用模型、健康閾值、超時和最大重試次數。
6. 只對可安全重複使用的請求啟用緩存，並把用戶、租戶和權限納入緩存鍵。
7. 在輸入端啟用最小化、脫敏和提示詞防護，在輸出端啟用內容與數據洩露檢查。
8. 記錄模型、Token、延遲、失敗、Fallback、緩存命中和MCP工具呼叫。
9. 用故障注入驗證模型不可用、Redis中斷、插件異常和MCP服務超時時的行為。

MCP上線檢查

1. 只導入經過審核的OpenAPI操作，刪除不需要的刪除、轉賬、執行和管理員介面。
2. 為每個工具定義清晰的名稱、說明、類型化參數、必填項和錯誤結構。
3. 將只讀工具與寫操作工具分開，並對高風險操作加入人工確認。
4. 使用消費者身分、最小權限和租戶隔離，不讓模型共享高權限憑證。
5. 驗證Origin、認證、速率限制、參數注入、超時、重試和幀等性。
6. 記錄工具發現、參數、調用人、結果、錯誤和下游業務審計編號。
7. 同時測試新舊MCP用戶端，避免協議升級導致隱式不相容。
8. 把Higress Ops管理工具放在獨立內網並啟用強認證。

社區版與阿里雲版本

Higress社區版為免費開源軟體，使用者需自行承擔伺服器、網路、儲存、監控、升級及維運等成本。阿里雲AI網關則在Higress的基礎上，提供托管式Serverless服務以及實例型獨享產品，並具備雲端控制台、彈性功能、服務等級保障以及商業支援等優勢。

公測免費邊界

Serverless新版公測的免費方案僅涵蓋網關本身的費用，公網接入流量仍需按照雲端資料傳輸費用來計算，而模型服務、日誌、監控及其他雲端產品則需另行收費。公測結束後可能會轉為商業化計費模式，正式的價格與優惠需在控制台上重新確認。

獨享版計費構成

實例型獨享版由網關實例、請求與回應資料處理量以及公網流量三部分組成，具體金額會隨規格、地區、網路類型及購買週期而變化。並沒有單一的固定價格可以代表所有的部署情況。

開源、GitHub與許可證

Higress的主倉庫目前由higress-group團體負責維護，原有的阿里巴巴倉庫入口將指向該新團體。其主代碼採用Apache-2.0授權協議。該主倉庫處於持續維護狀態，v2.2.4版本則於2026年8月13日發布。

開源不等於零成本

Apache-2.0允許使用、修改和分發主代碼，但企業仍需遵守許可證與NOTICE要求，並承擔伺服器、模型調用、外部插件、監控、安全以及人員運維的費用。阿里雲商業版也不能因為使用開源核心就視為免費或可自行複製服務能力。

安全與隱私

自建 Higress 可以讓提示、回應、金鑰以及審計資料都保留在企業所控制的網路與儲存設備中，但請求仍有可能被轉發到外部的模型、搜尋引擎、向量資料庫或安全服務上。實際的資料邊界則是由路由規則、插件以及上游供應商共同決定的。

產品優勢

• 一個入口同時治理LLM API、Agent、MCP和Kubernetes推理工作負載。
• 基於Istio與Envoy，適合長連接、SSE和高帶寬AI流量。
• 支援100多種主流模型，並提供統一協議、負載均衡與Fallback。
• Token限流、配額、緩存和可觀測直接圍繞AI成本與穩定性設計。
• MCP代理、現有API轉MCP及審計，降低多團隊工具接入的複雜度。
• 相容Ingress API與Gateway API，可與現有雲原生入口體系銜接。
• Wasm插件可使用多種語言開發、獨立升級並熱更新。
• 支援Docker獨立部署、Helm雲原生部署和阿里雲託管版本。
• 主項目採用Apache-2.0，並由CNCF Sandbox社區開放治理。

使用限制與注意事項

• Higress是基礎設施，不是開箱即用的終端聊天或知識庫產品。
• 生產部署需要網關、Kubernetes、網路、安全與可觀測經驗。
• 社區版沒有商業SLA，故障回應、升級和容量由自建團隊負責。
• 統一介面無法消除模型功能、品質、上下文和錯誤格式的差異。
• Fallback到不同模型可能改變回答、合規結果和成本。
• 語意緩存可能返回不適合當前用戶或上下文的舊答案。
• Token統計依賴供應商回應和分詞方式，不能自然等同帳單。
• MCP工具把模型與真實業務連接，提示注入可能轉化為實際操作風險。
• 部分插件依賴Redis、向量庫、搜尋或外部安全服務，會增加成本和故障面。
• 自訂Wasm插件仍可能存在業務邏輯、供應鏈和資源消耗問題。
• 升級v2.2.4時要注意多規則限流語義等行為變化。
• CNCF Sandbox表示已進入早期專案治理階段，不等於Graduated成熟等級。
• Serverless新版公測價格和能力可能在商業化後調整。
• 雲版免費範圍不包括公網流量、模型、日誌、監控和關聯雲產品。

基本資訊

常見問題

Higress免費嗎？

社區版主代碼採用Apache-2.0，可免費自建，但伺服器、網路、模型、儲存及運維並非免費。阿里雲Serverless新版公測期間網關本身免費，其他雲服務與流量仍可能收費。

Higress是大型模型嗎？

不是。它位於應用與模型、Agent、MCP工具或推理服務之間，負責接入與治理，不自行替代上游模型生成內容。

支援哪些模型？

目前產品頁面註明支援100多種主流模型，並可統一代理OpenAI相容介面及多家國內外供應商。具體的多模態、工具調用與參數相容性則需依供應商的插件進行測試。

可以不用Kubernetes嗎？

可以。Docker All-in-One、Docker Compose和Standalone適合在無Kubernetes環境下運行，至於生產規模、資料持久化以及高可用性等方面，則仍需自行設計。

能把普通API變成MCP工具嗎？

可以，透過MCP Bridge和OpenAPI轉換工具來產生遠端MCP設定。自動生成之後，必須由人員手動審核其中的危險操作、參數、認證以及工具說明。

Higress與阿里雲AI網關相同吗？

並非完全相同。Higress是開源社群專案，阿里雲AI網關則基於其功能，提供託管式Serverless服務、專用實例、雲端整合功能、SLA服務以及商業支援。

Serverless標準版能用於生產嗎？

更適合低流量、試用和開發，預設為50 QPS，且沒有獨立入口與自訂域名。正式對外服務通常應評估企業版或實例型獨享版。

Higress會降低模型費用嗎？

緩存、配額、路由和Fallback可以幫助減少浪費或選擇更合適的模型，但無法保證總費用一定下降。還需計算網關、緩存、監控和運維成本。

Higress是開源的嗎？

是，主倉庫採用Apache-2.0。相關控制台、Standalone、插件及商業雲服務的許可與條款需分別核對。

總結

Higress適用於那些需要在一個統一的入口點上管理多種模型、Agent、MCP工具以及雲端原生API的開發與平台團隊。它將Token管理、Fallback機制、快取功能、內容安全措施、即時監控功能以及MCP審計功能整合在網關層中，同時仍保留了Envoy的效能、Gateway API標準以及Wasm擴展能力。

選型時要區分Apache開源社群版與阿里雲託管版本，並將模型調用、流量、日誌、Redis、插件和運維納入總成本。正式上線時還應重點驗證緩存隔離、金鑰保護、MCP最小權限、版本升級相容性以及故障回退機制，而非僅完成模型代理功能。