Higress

一句话介绍

Higress是一款基于Istio与Envoy构建的开源AI原生API网关，可统一接入大模型API、AI Agent、MCP Server和Kubernetes推理服务，并在入口层完成路由、协议转换、配额、安全、缓存与可观测治理。

工具简介

Higress最初诞生于阿里巴巴内部，用于解决网关重载影响长连接以及gRPC、Dubbo负载均衡不足等问题，后来进入CNCF Sandbox进行开放治理。它既能作为AI网关，也可承担Kubernetes Ingress、微服务网关和安全防护网关。

截至2026年8月23日，主仓库最新稳定版本为v2.2.4，主代码采用Apache-2.0许可证。产品面向平台工程、云原生运维、AI基础设施和开发团队，并不直接提供面向普通用户的聊天或内容生成界面。

核心定位

主要功能

100多种模型统一代理

Higress可把不同模型厂商的鉴权方式、接口结构和模型名称收敛为统一入口，当前产品页写明支持100多种主流模型。应用可以减少厂商专用代码，但仍需处理各模型在工具调用、多模态、上下文和错误格式上的差异。

多模型路由与故障降级

团队可以在同一路由后配置多个模型或多个认证令牌，通过轮询、负载均衡、健康检测和Fallback提升可用性。降级只能减少单点失败，不能保证不同模型的输出质量、上下文长度和合规策略完全一致。

自适应模型负载均衡

v2.2.4加入基于实时压力的AdaptiveScore模式，可结合Redis感知集群级并发并保留本地降级策略。该能力适合高并发推理集群，但Redis可用性、指标延迟和策略参数也会影响调度结果。

API Key池与令牌降级

同一模型供应商可以配置多个API Key，并为每个令牌设置异常阈值和恢复健康检测。密钥池有助于容量和故障切换，但不能用于规避模型商的账户限制或违反服务条款。

Token限流与配额

Higress不只按QPS限流，还能按输入与输出Token、请求数、并发和消费者设置额度。v2.2.4支持多条匹配规则累计生效，升级时需要检查旧版首条命中逻辑，避免配额突然变化。

精确缓存与语义缓存

精确缓存复用完全相同的请求结果，语义缓存则根据相似度返回既有响应，可降低重复模型调用、Token成本和延迟。缓存可能保存敏感提示与回答，也可能对看似相似但实际不同的问题返回错误内容，需要设置租户隔离、过期时间和排除规则。

AI可观测

监控可以统计每秒输入输出Token、供应商与模型用量、延迟、成功和失败调用等指标。v2.2.4增加LLM失败计数，补充了流式与非流式错误响应没有Token用量时的监控空白。

提示词与请求响应处理

插件可以装饰提示词、应用模板、保存历史对话、识别意图、强制JSON输出并转换请求或响应。入口层改写会影响所有下游应用，生产环境应对模板版本、字段兼容和回滚进行测试。

RAG与搜索增强

Higress可以通过插件连接知识库、向量检索和搜索服务，把检索结果加入模型请求。网关负责调用编排，不自动保证文档质量、召回准确率、引用正确性或知识产权合规。

AI数据脱敏与内容安全

数据脱敏插件可在请求进入外部模型前处理敏感字段，内容安全插件可检查输入和输出。部分插件依赖外部安全服务或自建模型，v2.2.4还加入Qwen3Guard接入，实际覆盖率取决于规则、模型和部署。

流式请求与响应处理

Envoy数据面和Wasm扩展支持对请求与响应Body进行完整流式处理，并可处理SSE等协议。流式链路对超时、连接清理、Token统计和插件内存管理要求更高，不能只按普通短连接测试。

MCP统一治理

原生MCP代理

Higress可以把分散的MCP Server代理到统一入口，集中处理身份认证、细粒度限流、工具发现、调用审计和可观测。客户端只需连接网关，但网关权限配置错误也可能把更多工具暴露给不应访问的用户。

现有API转换为MCP

通过MCP Bridge和OpenAPI转换工具，现有REST或网页服务可以在不重写业务逻辑的情况下暴露为远程MCP工具。自动转换后仍需人工审查工具名称、参数模式、鉴权、错误处理和危险操作。

协议版本兼容

v2.2.4加入MCP 2026-07-28标准支持，包括无状态请求边界、确定性工具发现、类型化参数校验、Origin防护和新旧协议隔离。升级前应对客户端与服务端协议版本进行端到端兼容测试。

MCP运维接口

Higress Ops MCP Server可用于配置和管理网关，并在新版中对敏感调试与Envoy管理入口强制Basic认证。运维型MCP拥有高权限，应与普通业务工具分离，使用独立凭据、网络边界和审计。

Kubernetes推理与Gateway API

Higress支持Ingress API和Gateway API，并在v2.2.4升级到Gateway API v1.6.0，同时加入Inference Extension v1.4运行时能力。它可以把Gateway路由资源指向推理池，并根据推理端点状态进行选择与聚合。

微服务与传统API治理

• 服务发现：可连接Nacos、ZooKeeper、Consul和Eureka等注册中心。
• 协议：支持网页明文、加密传输和gRPC，并可结合MCP Bridge处理Dubbo等服务。
• 路由：提供重写、灰度发布、流量拆分、负载均衡和故障处理。
• 认证：提供Key Auth、JWT、Basic、HMAC、OIDC、OAuth2和外部认证等策略。
• 防护：可使用WAF、IP或Cookie维度的CC防护和本地或集群限流。
• 迁移：兼容大量Nginx Ingress注解，适合分阶段迁移而不是一次性替换。
• 控制台：提供图形化管理入口，仍可使用Kubernetes资源和自动化配置。

Wasm插件生态

Higress以WebAssembly作为主要扩展方式，可使用Go、Rust和JavaScript等语言开发插件，并通过沙箱隔离降低内存安全风险。插件版本可独立升级并热更新，不必重启整个网关。

部署方式

Docker端口

Docker快速上手

1. 准备支持容器的测试主机和独立工作目录，确认8001、8080和8443端口未被占用。
2. 选择距离部署区域较近的Higress镜像仓库，生产环境固定具体版本标签而不是长期使用latest。
3. 挂载持久化目录并启动All-in-One容器，只在可信网络开放控制台端口。
4. 首次进入控制台后立即配置管理员认证、访问边界和备份策略。
5. 添加一个测试模型供应商和最小权限API Key，不要先导入全部生产密钥。
6. 创建AI路由，设置模型映射、消费者鉴权、Token限流和故障降级。
7. 用小规模非敏感请求测试普通与流式响应、错误、超时和Fallback。
8. 检查Token、延迟、错误和消费者指标，再逐步加入缓存、安全与MCP插件。
9. 验证配置持久化和恢复后，才评估迁移到Helm或托管生产版本。

Kubernetes部署流程

1. 核对Kubernetes、Helm、Gateway API与Higress版本兼容矩阵，并备份现有Ingress资源。
2. 为Higress创建独立命名空间、服务账户、网络策略和受控镜像仓库。
3. 安装或升级所需CRD，查看控制器启动时的版本不匹配警告。
4. 用Helm安装固定版本，按区域设置镜像仓库并限制控制面与控制台暴露。
5. 先迁移一个低风险域名，逐项核对Nginx Ingress注解的兼容行为。
6. 配置Gateway路由、后端服务、证书和认证插件，并进行回滚演练。
7. 为大模型和MCP流量加入Token配额、超时、重试、熔断、Fallback与审计。
8. 接入Prometheus、日志与告警，观察配置传播、数据面资源和长连接。
9. 完成容量、故障、安全和升级测试后，再扩大到生产流量。

AI网关配置流程

1. 列出需要接入的模型商、自建推理服务、Agent和MCP Server，并标记数据敏感等级。
2. 为每个环境建立独立密钥、消费者身份和路由，避免测试与生产共用。
3. 统一外部调用协议，同时保留模型特有参数的兼容检查和回退处理。
4. 设置每个消费者的QPS、并发、Token额度、每日预算和允许模型。
5. 配置首选模型、备用模型、健康阈值、超时和最大重试次数。
6. 只对可安全复用的请求启用缓存，并把用户、租户和权限纳入缓存键。
7. 在输入端启用最小化、脱敏和提示词防护，在输出端启用内容与数据泄露检查。
8. 记录模型、Token、延迟、失败、Fallback、缓存命中和MCP工具调用。
9. 用故障注入验证模型不可用、Redis中断、插件异常和MCP服务超时时的行为。

MCP上线检查

1. 只导入经过审核的OpenAPI操作，删除不需要的删除、转账、执行和管理员接口。
2. 为每个工具定义清晰名称、说明、类型化参数、必填项和错误结构。
3. 将只读工具与写操作工具分开，并对高风险操作加入人工确认。
4. 使用消费者身份、最小权限和租户隔离，不让模型共享高权限凭据。
5. 验证Origin、认证、速率限制、参数注入、超时、重试和幂等性。
6. 记录工具发现、参数、调用人、结果、错误和下游业务审计编号。
7. 同时测试新旧MCP客户端，避免协议升级导致隐式不兼容。
8. 把Higress Ops管理工具放在独立内网并启用强认证。

社区版与阿里云版本

Higress社区版免费开源，用户承担服务器、网络、存储、监控、升级和运维成本。阿里云AI网关基于Higress提供托管Serverless与实例型独享产品，增加云控制台、弹性、服务等级和商业支持。

公测免费边界

Serverless新版公测的免费只覆盖网关自身费用，公网入网流量仍按云数据传输计费，模型服务、日志、监控和其他云产品分别收费。公测结束后可能进入商业化计费，正式价格与优惠需要在控制台重新确认。

独享版计费构成

实例型独享版由网关实例、请求与响应数据处理量以及公网流量三部分组成，具体金额随规格、地域、网络类型和购买周期变化。没有单一固定价格可代表所有部署。

开源、GitHub与许可证

Higress主仓库当前由higress-group组织维护，原有阿里巴巴仓库入口会指向新组织，主代码采用Apache-2.0。主仓库处于活跃维护状态，v2.2.4于2026年8月13日发布。

开源不等于零成本

Apache-2.0允许使用、修改和分发主代码，但企业仍需遵守许可证与NOTICE要求，并承担服务器、模型调用、外部插件、监控、安全和人员运维费用。阿里云商业版也不能因为使用开源内核就视为免费或可自行复制服务能力。

安全与隐私

自建Higress可以让提示、响应、密钥和审计数据留在企业控制的网络与存储中，但请求仍可能被转发到外部模型、搜索、向量库或安全服务。实际数据边界由路由、插件和上游供应商共同决定。

产品优势

• 一个入口同时治理LLM API、Agent、MCP和Kubernetes推理工作负载。
• 基于Istio与Envoy，适合长连接、SSE和高带宽AI流量。
• 支持100多种主流模型并提供统一协议、负载均衡和Fallback。
• Token限流、配额、缓存和可观测直接围绕AI成本与稳定性设计。
• MCP代理、现有API转MCP和审计降低多团队工具接入复杂度。
• 兼容Ingress API与Gateway API，可与现有云原生入口体系衔接。
• Wasm插件可使用多种语言开发、独立升级并热更新。
• 支持Docker独立部署、Helm云原生部署和阿里云托管版本。
• 主项目采用Apache-2.0，并由CNCF Sandbox社区开放治理。

使用限制与注意事项

• Higress是基础设施，不是开箱即用的终端聊天或知识库产品。
• 生产部署需要网关、Kubernetes、网络、安全和可观测经验。
• 社区版没有商业SLA，故障响应、升级和容量由自建团队负责。
• 统一接口不能消除模型功能、质量、上下文和错误格式差异。
• Fallback到不同模型可能改变回答、合规结果和成本。
• 语义缓存可能返回不适合当前用户或上下文的旧答案。
• Token统计依赖供应商响应和分词方式，不能天然等同账单。
• MCP工具把模型与真实业务连接，提示注入可能转化为实际操作风险。
• 部分插件依赖Redis、向量库、搜索或外部安全服务，会增加成本和故障面。
• 自定义Wasm插件仍可能存在业务逻辑、供应链和资源消耗问题。
• 升级v2.2.4时要注意多规则限流语义等行为变化。
• CNCF Sandbox表示已进入早期项目治理阶段，不等于Graduated成熟等级。
• Serverless新版公测价格和能力可能在商业化后调整。
• 云版免费范围不包括公网流量、模型、日志、监控和关联云产品。

基本信息

常见问题

Higress免费吗？

社区版主代码采用Apache-2.0，可以免费自建，但服务器、网络、模型、存储和运维并不免费。阿里云Serverless新版公测期间网关自身0元，其他云服务与流量仍可能收费。

Higress是大模型吗？

不是。它位于应用与模型、Agent、MCP工具或推理服务之间，负责接入和治理，不自行替代上游模型生成内容。

支持哪些模型？

当前产品页写明支持100多种主流模型，并可统一代理OpenAI兼容接口和多家国内外供应商。具体多模态、工具调用和参数兼容要按供应商插件测试。

可以不用Kubernetes吗？

可以。Docker All-in-One、Docker Compose和Standalone适合脱离Kubernetes运行，生产规模、持久化和高可用仍需自行设计。

能把普通API变成MCP工具吗？

可以，通过MCP Bridge和OpenAPI转换工具生成远程MCP配置。自动生成后必须人工审核危险操作、参数、认证和工具说明。

Higress与阿里云AI网关相同吗？

不是完全相同。Higress是开源社区项目，阿里云AI网关基于其能力提供托管Serverless、独享实例、云集成、SLA和商业支持。

Serverless标准版能用于生产吗？

更适合低流量、试用和开发，默认50 QPS且没有独立入口与自定义域名。正式对外服务通常应评估企业版或实例型独享版。

Higress会降低模型费用吗？

缓存、配额、路由和Fallback可以帮助减少浪费或选择更合适的模型，但不能保证总费用一定下降。还需计算网关、缓存、监控和运维成本。

Higress开源吗？

是，主仓库采用Apache-2.0。相关控制台、Standalone、插件和商业云服务的许可与条款需要分别核对。

总结

Higress适合需要在统一入口管理多模型、Agent、MCP工具和云原生API的开发与平台团队。它把Token治理、Fallback、缓存、内容安全、流式观测和MCP审计放到网关层，并保留Envoy性能、Gateway API标准和Wasm扩展能力。

选型时要区分Apache开源社区版与阿里云托管版本，并把模型调用、流量、日志、Redis、插件和运维计入总成本。正式上线还应重点验证缓存隔离、密钥保护、MCP最小权限、版本升级兼容和故障回退，而不是只完成模型代理。