Maxim AI

Maxim AI 是什么

Maxim AI 是 H3 Labs Inc. 面向 AI 产品、工程与质量团队提供的端到端评测和可观测性平台。它把提示词实验、数据集、智能体模拟、自动与人工评估、生产追踪、质量监控和告警连接为同一套迭代流程。

Maxim 不负责替用户训练基础模型，也不是单一模型排行榜。它用于比较模型、提示词、检索、工具和智能体版本，找出回归与失败路径，并在上线后持续观察真实请求的质量、成本、延迟和安全表现。

主要功能

• Prompt IDE：在无需修改业务代码的情况下比较不同提示词、模型、参数、工具和上下文。团队可保存实验结果，观察质量、成本与延迟，再选择适合部署的版本。
• 提示词版本与部署：将提示词从代码库中抽离，保留修改历史，并按规则发布不同版本。产品和工程成员可在同一工作区协作，减少复制粘贴造成的版本漂移。
• 提示链与低代码流程：把多个生成、检索和工具步骤连接成可测试流程，适合在正式接入代码前验证智能体逻辑。复杂生产权限、重试和事务仍需工程实现。
• 多模态数据集：管理文本、图像等测试输入与期望结果，支持类似表格的编辑方式。数据集可以从生产日志整理，也可导入既有测试样本。
• 评估器商店：提供预构建指标，并允许团队编写自定义评估器，衡量正确性、相关性、安全、格式、检索或业务标准。模型评分本身也可能有偏差，关键场景应加入人工基准。
• 智能体模拟：用不同用户画像、目标与场景生成多轮交互，批量测试智能体如何使用工具、检索和状态。模拟适合扩大覆盖面，但不能完全代表真实用户分布。
• 离线评估：在发布前对固定数据集运行候选版本，逐条比较输入、工具调用、输出、指标和评估理由。适合回归测试、模型迁移和提示词改版。
• 在线评估：对生产日志按过滤和抽样规则自动评分，可在会话、单轮 Trace 或具体 Span 节点层级评估。团队能把低分样本回收为新数据集，形成持续改进循环。
• 分布式追踪：用 Session、Trace、Span、Generation、Retrieval 和 Tool Call 表示多智能体工作流，视觉化查看每个节点的输入输出、耗时和错误。
• 生产调试与告警：监控质量、令牌、成本、延迟、用户反馈和故障趋势，在指标回退或安全规则触发时发出告警。告警需要结合业务阈值和轮值流程，不能只依赖默认规则。
• 人工评估：让领域专家对样本标注、审核和比较，并将结果纳入评测报表。Enterprise 还可讨论由 Maxim 管理的人评服务。
• 报告与仪表盘：汇总实验和线上指标，比较不同版本并与产品、工程和管理层共享。Business 支持自定义仪表盘，Enterprise 可扩展审计与服务等级。

典型工作流

1. 明确智能体的业务目标、不可接受失败和用户分群，将正确性、安全、成本与延迟转成可测指标。
2. 收集经过授权的真实问题、边界情况和历史故障，建立训练之外的评测数据集和人工参考答案。
3. 在 Prompt IDE 中比较模型、提示词、检索与工具配置，先检查小样本，再运行完整离线评估。
4. 为关键指标组合规则、代码、模型评分和人工审核，避免单一自动评估器决定是否上线。
5. 把评估加入 CI/CD，在候选版本低于阈值时阻止发布，并保存版本、数据集和评分记录。
6. 通过 SDK 接入日志与追踪，为会话、生成、检索和工具调用附加一致的名称、标签和用户上下文。
7. 上线后配置在线评估、抽样、仪表盘和告警，跟踪质量、成本、延迟、错误和用户反馈。
8. 把真实低分与异常 Trace 整理为新的回归样本，修复后重新离线测试并对比趋势。

评估层级

价格与套餐

Professional 与 Business 当前提供 14 天免费试用。公开比较表还列出 Professional 和 Business 的日志超额费为每 1 万条 1 美元，Developer 不允许超额；具体税费、年度折扣和其他用量价格应以结算页为准。

购买前核对

• 确认日志统计单位是请求、Trace 还是其他事件，并估算多智能体调用会产生多少记录。
• 数据保留从 3 天到 30 天差异明显，排障、审计和回归样本应另行设计保留策略。
• 席位费与日志超额费同时存在，团队扩张和流量增长都可能提高成本。
• 公开条款没有提供清晰的自助退款细则，签约或订阅前应确认取消、生效日和未用周期处理。

适合哪些用户

• 需要建立可重复 AI 智能体回归测试的产品与工程团队。
• 同时比较多家模型、RAG、工具调用和提示词版本的 LLM 应用开发者。
• 上线后需要追踪多智能体路径、质量、成本和延迟的运维与平台团队。
• 需要 RBAC、PII 管理、审计、VPC、SSO 或合规支持的企业。
• 领域标准难以完全自动化，需要专家人工评审的医疗、金融、客服或法律辅助团队。

优势

• 覆盖上线前实验与上线后观测，离线和在线评估可共享数据与指标。
• 同时提供无代码界面和多语言 SDK，产品经理与工程师可在同一流程协作。
• 追踪粒度深入到检索、工具和生成节点，便于定位复杂智能体的具体故障。
• 支持预建、自定义、自动与人工评估组合，避免只依赖一个评分模型。
• 企业可选择 VPC 部署和数据隔离，适合有数据边界要求的团队。

能力边界与限制

• 评估分数不等于真实业务结果，数据集覆盖不足或评估器偏差会产生虚假信心。
• 模型作为裁判可能偏好特定风格或自身模型家族，必须用人工标注校准。
• 生产追踪可能包含提示词、用户内容、检索片段和工具参数，接入不当会扩大敏感数据暴露。
• 免费和低价套餐保留期较短，不适合依赖平台保存长期审计证据。
• 日志量会随多代理、重试和节点数量增长，成本估算不能只看最终用户请求数。
• 平台不能替代安全测试、红队、业务审批和事故响应，只是质量治理基础设施的一部分。

SDK 与集成

Maxim 提供 Python、JavaScript或TypeScript、Java 和 Go SDK，可从应用代码记录会话、Trace、生成、检索和工具调用，并触发评估。平台还可与 OpenAI、Claude、Gemini、LangChain、LangGraph、CrewAI 和其他模型或框架协作。

1. 在工作区创建 API 密钥和日志仓库，按开发、测试、生产分离环境。
2. 安装对应语言 SDK，把密钥放在服务器机密管理中，禁止提交到仓库。
3. 初始化 Logger，为 Session 和 Trace 使用稳定标识，并给关键节点添加名称与标签。
4. 在生成、检索和工具调用周围记录输入、输出、耗时、令牌、成本与错误。
5. 先在测试环境验证脱敏和采样，再逐步开放生产流量，避免意外记录敏感字段。
6. 配置在线评估和告警，把低分样本送入数据集或人工审核队列。

Bifrost 开源 AI 网关

Bifrost 是 Maxim 团队独立发布的开源 AI 网关，使用 Apache 2.0 许可证，可统一连接多家模型提供商，处理路由、负载均衡、回退、限流、守卫、日志与成本观测。它可以与 Maxim 平台结合，但 Bifrost 开源不代表 Maxim SaaS 本身开源。

• 可通过容器或命令行本地运行，并以兼容 OpenAI 请求格式的统一接口连接多家提供商。
• 支持自适应负载均衡、集群、插件、模型路由、MCP 与监控界面，具体能力随版本快速更新。
• 默认配置需要安全加固；若省略加密密钥，部分本地数据可能以明文保存，生产环境不应照搬演示设置。
• 模型调用费用仍由各提供商产生，开源网关本身不包含模型额度。

开源状态

隐私、安全与数据

• 平台可能处理账户、Google 或 GitHub 登录、联系方式、使用数据，以及客户提交的提示词、文件、输入、输出和观测日志。
• 条款称客户数据和输出归客户或其许可方所有，Maxim 获得为提供、运营和支持服务所需的有限许可。
• 条款称未经客户事先书面同意，不会用客户数据或输出训练、微调或改进模型，也不会为其他客户开发功能。
• 隐私政策描述敏感数据加密、数据库双因素访问、定期安全审计、数据最小化、访问控制和泄露通知措施。
• 产品声明符合 SOC 2 Type II、ISO 27001、HIPAA 和 GDPR；受监管采购仍应索取当前证书范围、DPA、BAA 和子处理商清单。
• Enterprise 提供 VPC 内部署、数据隔离、自定义保留和安全审查，适合不允许日志离开自有环境的组织。
• 平台可为安全与违规检测处理内容；隐私政策还提到可能将违规内容与用户标识分离后用于信任与安全系统。
• 接入前应对提示词、用户输入、检索文档、工具参数和模型输出进行 PII 识别、掩码和最小化。

条款与采购注意事项

• 公开条款页面顶部仍保留 2023 年在线课程旧描述，但同页客户数据条款已针对当前 AI 平台更新，文本存在历史遗留不一致。
• 企业客户应要求一份与当前评测、观测、SDK 和 Bifrost 集成明确对应的有效订单、主服务协议和数据处理协议。
• 确认数据与输出所有权、模型训练禁用、删除、导出、保留、服务中止和审计证据在合同中的优先级。
• 不要把 SOC、ISO、HIPAA 或 GDPR 字样直接理解为自己的应用自动合规，客户仍负责用途、配置和用户告知。

总结

Maxim AI 适合把智能体质量管理从临时人工检查升级为“实验、模拟、离线评估、CI、生产追踪、在线评估和回归数据集”的持续工程流程。选择套餐时应同时核算席位、日志量和保留期，并严格区分专有 Maxim 平台、公开 SDK 与 Apache 2.0 开源 Bifrost 网关。