LiteLLM開源AI網關功能、價格、部署與使用教學

LiteLLM是什麼

LiteLLM是一種開源的AI網關及Python SDK，能夠將OpenAI、Anthropic、Gemini、Azure、Amazon Bedrock、Vertex AI、Ollama等不同的模型服務，以相似的調用方式整合起來。應用程式可以透過與OpenAI相容的介面來切換模型，從而減少為每個供應商分別維護適配代碼的工作量。

該專案由Berri AI維護，既適合開發者在Python專案中直接調用，也可作為團隊共用的代理伺服器來部署。它並非大型語言模型，也不提供模型推理額度，實際的回應仍是由使用者所配置的雲端或本地模型所產生。

兩種主要使用方式

方式	適合對象	主要能力	典型場景
Python SDK	應用開發者	統一調用、異常映射、路由、重試、回退和回呼	在單個Python專案中接入多個模型
AI Gateway	平台與基礎設施團隊	集中認證、虛擬金鑰、預算、日誌、管理後台和多租戶控制	為多個應用、使用者或團隊提供統一模型入口

SDK更接近於程式碼庫，而網關則是獨立運行的中央服務。小型專案可以先從SDK開始，等到需要統一管理權限、費用及進行審計時，再部署網關。

主要功能

統一大模型API

LiteLLM將多個模型供應商映射為統一介面，涵蓋聊天、回應、嵌入、圖像、音頻、批次處理、重新排序以及訊息等不同端點。各模型並不一定支援所有功能，接入前仍需查看對應供應商的端點相容性列表。

使用OpenAI相容格式調用多家模型
連接商業API、雲平台模型和部分本地推理服務
統一常見異常類型與回應結構
為模型設定別名，減少業務代碼與具體型號綁定
在新增模型或供應商時降低遷移成本

智慧路由與故障回退

路由器可以將請求在多個模型或部署之間分配，並設定重試、超時及回退策略。當某個端點出現流量限制或故障時，系統可以嘗試使用其他部署，但前提是團隊已正確配置了備用模型及相容參數。

多部署負載均衡
按成本、延遲或可用性設計路由
處理限流與臨時服務錯誤
在主模型失敗時調用備用模型
透過緩存減少部分重複呼叫

虛擬金鑰與存取控制

網關可以為應用程式、專案、使用者或團隊發放虛擬金鑰，而無需直接分配上層的模型金鑰。管理員能夠限制可使用的模型、預算、請求速率及有效期限，並根據不同的主體來統計其支出情況。

虛擬金鑰僅屬於治理層，仍需保護主金鑰、資料庫及管理後台。生產環境不應使用範例金鑰，亦不能將管理介面直接暴露在公網上。

成本追蹤與預算管理

LiteLLM會根據模型價格映射以及請求用量來估算成本，並可依據金鑰、使用者、團隊、專案或標籤來進行統計。團隊可以設定預算和速率限制，以避免因測試腳本或異常流量而產生不必要的費用。

追蹤請求量、令牌量及估算花費
設定用戶、團隊或專案預算
限制每分鐘請求數與令牌數
按模型或標籤觀察成本分配
透過Prometheus等方式接入監控體系

日誌、可觀測性與Guardrails

網關支援請求與回應日誌、回呼、指標以及多種可觀測性整合功能，亦能連接內容安全與 Guardrails 機制。是否記錄提示詞與回答由設定決定，處理敏感資料時應優先採用最小化日誌策略。

MCP與智能體網關

目前這個專案還包含MCP Gateway和A2A Agent Gateway的功能，如此一來，MCP工具或相容的智慧體就能被整合在統一的入口後面。不過，管理員仍需分別控制工具的授權、網路存取、審核策略以及憑證的使用範圍。

支援的模型與服務

官方目前表示可支援100多家模型供應商，具體數量會隨版本變化。常見的選項包括OpenAI、Anthropic、Google Gemini、Azure OpenAI、Amazon Bedrock、Vertex AI、Cohere、Mistral、DeepSeek、xAI、Ollama和vLLM等。

類別	示例	使用提醒
商業模型API	OpenAI、Anthropic、Gemini、Mistral、xAI	需要各自密鑰並按供應商價格付款
雲平台模型	Azure、Bedrock、Vertex AI	涉及雲帳戶、區域、權限和網路配置
本地或自託管推理	Ollama、vLLM、LM Studio	需要自行準備模型、算力和服務端點
多模態服務	圖像、音頻、嵌入與重排序供應商	端點支援程度因供應商而異

價格與版本

以下資訊於2026年8月24日核驗。LiteLLM採用免費開源核心加付費企業功能的模式，企業費用不是按模型令牌加價，而是根據年度網關請求容量、部署架構和支持需求報價。

版本	許可證或價格	主要能力	適合對象
Open Source	0美元許可證費，永久免費自託管	統一API、虛擬金鑰、使用者與團隊、費用追蹤、預算、速率限制、回退、日誌和Prometheus指標	能夠自行部署和維護的開發者與團隊
Enterprise	年度合約，聯繫銷售詢價	開源版功能包含SSO、SCIM、OIDC或JWT、審計日誌、金鑰輪換、組織權限、多區域控制及企業支援	大規模、受監管或需要服務等級協議的組織
Enterprise試用	30天，無需信用卡	用於測試企業許可功能	採購前驗證安全與治理需求的團隊

企業版標準支援包含專用溝通渠道，官方文件所列的24小時支援服務等級協議可能需要額外費用。實際報價、請求容量、隔離網路、多區域部署及回應等級應以合約為準。

免費版仍有哪些成本

OpenAI、Anthropic、Gemini等上游模型調用費
雲伺服器、容器或本地硬體成本
生產環境所需的PostgreSQL、Redis和對象儲存
日誌、監控、備份、網路流量和安全服務費用
部署、升級、故障處理和合規審計的人力成本

因此「免費自託管」僅表示開源核心沒有許可證費用，並不代表網關運行和模型推理是免費的。在購買或部署之前，應將模型用量、基礎設施及維運成本一起納入總成本中。

部署方式

使用Python套件直接集成SDK或啟動代理服務
透過官方容器鏡像運行AI Gateway與管理後台
使用Docker Compose搭建測試或小型環境
透過Helm在Kubernetes集群部署
使用官方Terraform模組部署到AWS或Google Cloud
企業版可在自有基礎設施運行，並支援隔離網路方案

生產環境通常還需要資料庫、快取、反向代理、TLS、機密資訊管理、監控以及備份功能。官方建議在生產環境中使用穩定的鏡像版本，但團隊仍應明確指定版本號，以避免因非計劃性的升級而導致系統行為發生變化。

快速使用流程

明確採用Python SDK還是集中式AI Gateway，並列出需要接入的模型供應商。
準備各模型服務的帳戶、API金鑰、區域和配額，不要把金鑰寫入源碼。
在測試環境安裝LiteLLM或啟動官方容器，配置模型別名與上游端點。
建立主金鑰和虛擬金鑰，為應用程式、團隊或專案設定模型白名單、預算與速率限制。
讓應用改用網關地址和OpenAI相容的呼叫方式，驗證流式輸出、工具呼叫與錯誤處理。
配置超時、重試、回退、日誌脫敏、指標、告警和資料庫備份。
進行並發、故障和成本測試，再以固定穩定版本發布到生產環境。

適合哪些用戶

需要同時調用多家大模型的AI應用開發者
希望統一管理模型金鑰和費用的平台團隊
需要為多個部門分配預算與模型權限的企業
需要模型回退和負載均衡的生產系統
希望將模型網關保留在自有網絡中的組織
需要在雲端模型與本地模型之間切換的團隊

產品優勢

相容模型和服務商範圍廣，減少重複適配
提供SDK與集中式網關兩種使用層級
開源核心可自行審查、修改和部署
虛擬金鑰、預算和速率限制適合多租戶治理
具備路由、重試、回退、緩存和可觀測性能力
支援容器、Kubernetes和主流雲基礎設施

限制與風險

相容介面不代表完全一致

不同模型在工具調用、結構化輸出、圖像、音頻、上下文長度以及錯誤行為方面仍存在差異。在切換模型之前，必須先執行實際案例測試，而不能僅透過簡單的聊天請求來進行驗證。

價格估算需要維護

成本追蹤依賴模型價格和令牌計算資訊，供應商調價或新模型上線時可能出現偏差。財務結算應以上游帳單為準，LiteLLM統計更適合作為運營監控。

網關會成為關鍵基礎設施

所有模型流量集中後，錯誤配置、資料庫故障或版本升級都可能影響多個應用。生產環境應設定高可用性、容量規劃、健康檢查、回滾以及災難復原機制。

開源不自動等於安全

管理員需要自行配置身份認證、網路隔離、TLS、金鑰輪換以及日誌脫敏功能。如果啟用請求回應日誌，提示詞和模型回答可能會被儲存到資料庫或第三方的可觀測系統中。

數據與隱私

自託管意味著LiteLLM廠商通常不負責託管用戶的網關流量與金鑰，但模型請求仍會被傳送至已設定的上游模型服務。日誌、快取、Guardrails以及可觀測性插件也有可能接觸到輸入與輸出資料。

只把模型密鑰保存在秘密管理系統中
為不同應用簽發獨立虛擬密鑰
關閉不必要的提示詞與回答正文日誌
對個人資訊、商業秘密和憑證進行脫敏
核查每家模型與監控服務的數據保留政策
定期升級安全補丁並驗證容器鏡像簽名

開源許可證說明

LiteLLM倉庫並非所有目錄都採用相同的許可證。根據許可證說明，enterprise目錄中的內容需遵循該目錄所指定的企業許可證，而其餘未被限制的程式碼則採用MIT許可證。

代碼範圍	許可證狀態	使用提示
開源核心與非企業目錄	MIT許可證	可在保留版權與許可聲明的前提下使用、修改和發行
enterprise目錄	企業目錄單獨許可證	不能因倉庫主體開源而預設可自由商用全部企業代碼
外部模型與SDK	各自條款	模型權重、API和第三方依賴不自動繼承LiteLLM許可