Orq.ai

工具简介

Orq.ai 是面向 AI 产品、工程和治理团队的平台，将多模型网关、MCP 工具网关、智能体运行、提示词管理、评测与可观测性放在同一工作区。开发者可通过兼容 OpenAI 和 Anthropic 调用方式的接口接入多家模型，并在运行时统一执行预算、隐私和路由规则。

它并不自称为单一大模型，而是连接与管理模型、工具和智能体的基础设施。官方当前列出 500 多个模型和 30 多家提供商，具体清单与价格会随供应商更新。

主要功能

AI 网关与多模型路由

AI Gateway 让应用通过一个端点调用不同提供商或自有模型，并在不中断上层业务代码的情况下切换模型。

• 支持自带提供商密钥，也可使用 Orq.ai 管理的模型额度。
• 提供条件路由、权重与轮询负载均衡、延迟策略和智能路由。
• 支持跨提供商回退、重试和响应缓存，降低单一模型故障影响。
• 可连接 Azure AI Foundry、Vertex AI 或兼容接口的私有与微调模型。

智能体、RAG与MCP工具

团队可以在 AI Studio 配置托管智能体、检索增强生成流程和工具调用，再通过 Agent Runtime 运行。

• MCP Gateway 可统一连接远程 MCP 服务，并对工具调用应用策略与追踪。
• 知识库与 RAG 功能用于导入资料并为智能体提供检索上下文。
• 可复用技能、提示词版本和部署配置，减少在代码中分散维护指令。

评测、追踪与治理

每次模型请求、智能体步骤、工具调用或评估都会形成可查询的跨度，用于分析延迟、成本和输出质量。

• 支持数据集实验、内置或自定义评估器、提示词比较和上线前验证。
• 可设置项目、用户或密钥级预算、告警与硬性额度。
• 支持敏感信息检测与遮蔽、审计记录、角色权限和数据保留策略。
• 兼容 OpenTelemetry，便于把现有智能体链路纳入统一追踪。

使用教程

1. 创建 Orq.ai 账户和工作区，在设置中生成 API 密钥。
2. 选择使用 Orq.ai 管理额度或自带模型提供商密钥，并核对模型地区与数据保留要求。
3. 把现有客户端的基础端点改为 Orq.ai 网关，或安装 Python、Node SDK 进行开发。
4. 配置模型路由、重试、回退、预算、敏感信息规则和日志保留期限。
5. 用测试数据集运行评测，检查准确性、工具调用、成本和延迟后再发布部署。
6. 上线后通过追踪与仪表板查看异常，并持续调整模型、提示词和防护规则。

适合哪些用户

• 需要通过一个接口管理多家 LLM 并减少提供商锁定的工程团队。
• 正在构建客服、内部助手、RAG 或多工具智能体的产品团队。
• 需要统一追踪成本、延迟、质量和失败链路的 AI 平台团队。
• 有数据驻留、私有网络、审计、权限和本地部署要求的企业。
• 希望产品经理与开发者在同一空间管理提示词、实验和发布版本的组织。

价格与套餐

Orq.ai 当前提供按量付费和企业定制两类方案，模型费用与平台计量项分开计算。未添加账单信息时仍可测试，但调用会受到每日额度限制。

按量方案还包含每月免费额度，未绑支付方式时官方说明为每天最多 50 次请求。可选附加项、年付承诺、税费和企业批量折扣未计入公开估算，最终以结算页或合同为准。

产品优势

• 一个网关同时覆盖模型和 MCP 工具，便于把策略、预算与追踪集中管理。
• 兼容常用 API 协议，已有应用通常只需较少改动即可开始路由。
• 提示词、评测、部署和生产追踪处于同一平台，减少跨工具排查成本。
• 企业方案支持自有 VPC 和本地部署，可满足更严格的网络与数据控制要求。

使用限制与注意事项

• 500 多个模型并不表示每个账户、地区和模态都始终可用，应以模型目录与控制台为准。
• 网关会增加一个运行环节，智能路由、重试和回退也可能影响端到端延迟与费用。
• 一次智能体运行可能包含多个模型、工具和评测步骤，因此不能只按运行次数估算总成本。
• 日志可能包含提示词、输出和元数据，应配置遮蔽、访问权限与合适的保留期限。
• 服务条款明确平台不用于受 HIPAA 监管的健康信息，不应把此类数据直接发送到服务。
• 模型输出仍可能错误或带有偏差，高风险业务需要人工复核、评测集和故障回退。

平台与部署方式

API、SDK与开源情况

平台提供兼容 OpenAI 与 Anthropic 调用方式的网关 API，以及部署、智能体、评测和其他资源接口。官方 Python 与 Node SDK 支持认证、流式响应、重试和部署调用，其中 Python SDK 文档仍标注为测试版，生产环境宜固定版本。

官方 GitHub 中可看到 Python、TypeScript SDK、示例和部分 MIT 许可项目，但当前两个核心 SDK 仓库没有识别到明确许可证。公开可读不自动等于获得开源使用权，且 Orq.ai 托管平台本身也未被声明为开源，使用前应分别核对每个仓库的许可证。

隐私与安全

Orq.ai 表示其云服务在欧盟建设与托管，提供传输和静态加密、敏感信息遮蔽及可配置删除，并声明不会用客户提示词、输出或追踪训练模型。实际还会受所选第三方模型提供商的保留政策影响。

按量方案提供标准数据处理协议，企业可协商审计报告、数据驻留和专用条款。涉及敏感数据时，应同时审查 Orq.ai 与最终模型提供商的处理范围。

常见问题

Orq.ai 可以免费使用吗？

可以在未绑定支付方式时使用有限的每日请求额度，按量方案也包含网关请求、跨度、数据和智能体运行的月度额度。超出后会按不同计量项收费，因此不是无限量永久免费。

自带模型密钥还会收费吗？

每月前 100 万次自带密钥请求免费，超出后 Orq.ai 收取 4% 费用，模型提供商仍按其规则直接向用户计费。

Orq.ai 是开源平台吗？

不是。部分示例和工具有开源许可证，但核心托管平台未被声明为开源，公开 SDK 仓库也需逐一确认许可证。