Laminar是什么
Laminar是一款专为AI代理和大语言模型应用设计的开源可观测、调试与评测平台,由lmnr.ai团队开发并入选Y Combinator S24。它记录模型调用、工具使用、控制流程和子代理活动,再把生产运行转换为可搜索、可查询和可评测的数据。
用户既可以使用托管的Laminar Cloud,也可以部署完整开源栈。产品基于OpenTelemetry进行追踪,并针对长时间、多步骤和并行代理提供更适合阅读的对话式追踪视图。
主要解决什么问题
- 查看代理每一步实际调用了什么模型与工具。
- 定位错误、重复调用、循环和异常成本。
- 从大量生产追踪中自动发现行为模式。
- 在提示词、模型或代码变更前运行回归评测。
- 把真实失败案例转为评测数据集。
- 通过SQL、全文搜索和仪表盘分析运行数据。
- 在云端或自有基础设施保存敏感追踪。
AI代理追踪
Tracing记录代理运行中的模型输入输出、工具参数与结果、函数调用、错误、延迟、Token和成本。Laminar把复杂代理轨迹显示为对话式转录,并把子代理折叠成可展开卡片,减少只看Span树时的理解负担。
自动与手动埋点
| 埋点方式 | 工作方式 | 适合场景 |
|---|---|---|
| 自动仪表化 | 初始化SDK后捕获受支持框架和模型客户端 | 快速接入现有代理应用 |
| 函数包装 | 用observe包装函数并记录输入输出 | 追踪业务步骤和工具函数 |
| 手动Span | 显式创建层级与附加属性 | 复杂控制流和自定义框架 |
| OpenTelemetry导入 | 接收标准OTLP追踪数据 | 已有可观测体系和跨服务代理 |
常见集成
- OpenAI、Anthropic和Gemini模型客户端。
- Vercel AI SDK与OpenAI Agents SDK。
- Claude Agent SDK和OpenHands SDK。
- LangChain、Mastra和Pydantic AI。
- Browser Use、Stagehand和Playwright浏览器代理。
- LiteLLM及其他OpenTelemetry兼容服务。
实时追踪与全文搜索
平台可以在代理尚未结束时实时显示Span,适合观察长任务、并行子代理和浏览器操作。所有追踪支持全文搜索、字段过滤和表格视图,开发者可以从错误文本、工具参数或用户内容快速定位异常运行。
浏览器会话回放
对于Browser Use、Stagehand和Playwright等浏览器代理,Laminar可以把页面操作与代理追踪关联起来。开发者既能看到模型为什么选择某个动作,也能回看执行时的浏览器状态。
Signals生产监控
Signals允许团队用自然语言描述要监控的结果或失败,例如代理是否重复调用工具、在接口失败后编造数据,或用户是否放弃任务。系统读取完整追踪而不只是最终回答,并在匹配时生成结构化事件。
Signal组成
| 组成部分 | 作用 | 配置示例 |
|---|---|---|
| Prompt | 描述要检测或提取的行为 | 寻找工具失败后仍给出无依据结论的运行 |
| 结构化Schema | 定义事件中必须提取的字段 | 失败工具、错误声明和用户影响 |
| Trigger | 决定何时分析追踪 | 根Span结束或指定Span结束 |
| Filters | 限制需要分析的追踪范围 | 最小Token、错误状态或Span名称 |
| Severity | 标记事件严重程度 | Critical、Warning或Info |
Signals工作流程
- 新追踪满足触发器和过滤条件。
- 系统压缩长追踪并保留模型、工具及错误主线。
- Signals代理依据自然语言规则调查压缩内容。
- 必要时读取完整Span确认具体输入输出。
- 把发现转换为符合Schema的结构化事件。
- 事件关联回原追踪并进入搜索索引。
- 相似事件自动聚类以识别重复模式。
- 符合规则的事件通过Slack或邮件告警。
Signals与普通LLM评分的区别
普通评分器常只检查最后一段模型输出,难以发现几十步之前的工具错误、无效子代理和重复调用。Signals会阅读完整运行链路,并能把最终结论与中间工具结果联系起来。
| 对比项 | 普通输出评分 | Laminar Signals |
|---|---|---|
| 分析范围 | 通常是最终回答 | 完整模型、工具、子代理、重试和错误追踪 |
| 规则表达 | 代码或固定评分提示 | 自然语言检测规则加结构化Schema |
| 结果 | 一个或多个分数 | 可查询、聚类和告警的结构化事件 |
| 运行方式 | 多用于离线样本 | 可实时分析新追踪,也可回填历史数据 |
| 适合问题 | 答案质量和格式 | 逻辑失败、用户摩擦、业务结果与成本浪费 |
AI Agent Debugger
Debugger把一次问题调查组织成会话,包含原始运行、重放、评测、命令和开发笔记。开发者或编程代理修改代码后,可以从指定位置重放已记录的追踪,而之前相同的模型调用由缓存返回。
缓存回放价值
长代理可能在运行很久后才暴露问题,完整重跑会重复消耗时间和模型费用。前缀缓存让调试只重新执行变更点之后的部分,从而加快提示、工具和控制流程的迭代。
- 以调试模式运行代理并记录完整追踪。
- 阅读转录内容,找到错误Span或无效行为。
- 修改提示、工具、代码或控制流程。
- 从需要验证的边界重放已记录运行。
- 比较新旧追踪、输出、延迟和成本。
- 用固定数据集运行评测证明修复并非偶然。
- 在同一调试会话中保存结果和说明。
- 通过回归门禁后再发布变更。
离线评测
Laminar评测由数据点、执行器、评测器和分组名称组成。系统并行运行每个输入,记录执行与评分Span,并把相同分组下的多次运行绘制成趋势,便于发现提示或模型升级后的回归。
| 评测部分 | 内容 | 作用 |
|---|---|---|
| Datapoints | 输入、可选目标和元数据 | 定义固定测试样本 |
| Executor | 运行模型、代理或工具的函数 | 生成需要评分的实际输出 |
| Evaluators | 返回数值或多维分数的函数 | 衡量准确性、格式、成本或业务条件 |
| Group | 关联多次相关运行的名称 | 比较版本并观察指标变化 |
| Custom Rendering | 针对数据类型自定义评测行视图 | 提高人工审核和差异比较效率 |
数据集与标注
团队可以从生产追踪、SQL查询、接口或本地数据建立评测数据集,再通过标注队列补充人工标签。把真实失败和边缘案例纳入数据集,可以让回归测试更贴近线上问题。
- 批量把查询结果转换为数据集。
- 从单条异常追踪创建评测样本。
- 为数据点保存目标答案和元数据。
- 用标注队列分配人工审核任务。
- 在本地脚本或持续集成流程运行评测。
- 比较同一分组下多个版本的分数趋势。
Playground
Playground可重放已追踪Span,并替换提示词、模型或输入后并排比较结果。它适合快速验证一个局部调整,但正式发布仍应使用覆盖更多样本的评测。
SQL、MCP与仪表盘
Laminar允许通过内置SQL编辑器直接查询追踪、指标和Signal事件,也能用查询结果创建数据集或仪表盘。CLI和MCP访问使编程代理可以读取可观测数据、执行分析并参与调试循环。
| 分析入口 | 能力 | 适合用户 |
|---|---|---|
| SQL Editor | 查询追踪、Span、指标和事件 | 数据工程师和高级开发者 |
| Dashboards | 用指标及自定义SQL构建图表 | 产品、平台和运维团队 |
| Full-text Search | 搜索Span输入输出和错误 | 故障排查与客服支持 |
| CLI | 执行评测、管理数据与调试会话 | 开发者和持续集成流程 |
| MCP | 让AI客户端查询和分析Laminar数据 | 编程代理与自动化研究 |
Python与TypeScript SDK
官方提供Python和TypeScript客户端,均可初始化项目密钥、自动仪表化支持的模型与框架,并用装饰器或函数包装记录自定义逻辑。Python包要求当前支持的Python版本,依赖和仪表化范围应在升级前通过发布说明确认。
- 创建工作区、项目和项目API密钥。
- 安装Python或TypeScript SDK及所需集成。
- 在应用启动阶段初始化Laminar。
- 为关键业务函数加入observe包装。
- 运行本地请求并确认追踪层级与内容。
- 添加用户、会话、标签和版本元数据。
- 在生产前配置采样与敏感数据处理。
- 建立仪表盘、Signals和评测门禁。
云端价格
价格信息于2026年8月23日核验,实际金额、税费、汇率和优惠可能变化,最终以结算页面显示为准。
Laminar Cloud按基础套餐、每月追踪数据量、Signals分析Token和保留期计费。Free没有数据超额能力,Starter与Pro可在包含额度外继续按GB付费。
| 套餐或版本 | 价格 | 计费周期 | 核心权益或额度 | 适合用户 |
|---|---|---|---|---|
| Free | 0美元 | 每月 | 1GB数据、5美元Signals额度、7天保留、1个项目和1个席位,无超额 | 个人开发者和小型原型 |
| Starter | 30美元 | 每月 | 3GB数据、15美元Signals额度、30天保留、无限项目和席位,超额2美元每GB | 小团队和早期生产应用 |
| Pro | 150美元 | 每月 | 10GB数据、50美元Signals额度、6个月保留、无限项目和席位,超额1.5美元每GB | 多项目生产团队 |
| Enterprise | 定制报价 | 合同约定 | 自定义额度与保留、本地部署、专属支持和企业安全能力 | 高规模、合规和私有部署组织 |
Signals计费
Signals不是按代理原始Token一比一收费,而是按内部分析代理实际读取追踪时消耗的Token计费。系统会先压缩追踪,官方估计平均可压缩到原Token量约一成,但实际比例受工具输出和追踪结构影响。
| 套餐 | 包含Signals额度 | 超额输入价格 | 超额输出价格 |
|---|---|---|---|
| Free | 5美元 | 不支持超额 | 不支持超额 |
| Starter | 15美元 | 每百万Token 0.5美元 | 每百万Token 3美元 |
| Pro | 50美元 | 每百万Token 0.4美元 | 每百万Token 2.5美元 |
| Enterprise | 定制 | 定制 | 定制 |
成本估算注意事项
- 追踪数据GB与代理Token量不是固定换算关系。
- 保存完整工具输出会显著增加数据量。
- Signals过滤范围决定需要分析多少追踪。
- 回填历史追踪会集中消耗Signals额度。
- 长保留期可能需要更高套餐或自托管存储。
- 模型推理费不包含在Laminar订阅中。
- 自托管仍需计算数据库、对象存储和运维成本。
开源与许可证
Laminar核心仓库、Python SDK和TypeScript SDK使用Apache第二版许可证,可查看、修改和自行部署。商业云服务、企业镜像、许可证功能和专属支持仍适用单独的商业条件。
| 项目 | 状态 | 许可证或条件 | 主要用途 |
|---|---|---|---|
| lmnr核心仓库 | 公开且持续维护 | Apache第二版 | 前端、应用服务、查询引擎和本地部署 |
| Python SDK | 公开 | Apache第二版 | Python应用追踪与评测 |
| TypeScript SDK | 公开 | Apache第二版 | Node与TypeScript应用追踪 |
| Helm部署仓库 | 公开 | 按仓库文件执行 | 在Kubernetes部署企业规模组件 |
| 企业功能 | 部分需要许可证密钥 | 商业许可 | 专属集成、支持和高级安全能力 |
| Laminar Cloud | 托管商业服务 | 按套餐使用 | 免运维的云端平台 |
Docker自托管
轻量自托管可以使用Docker Compose启动前端、应用服务和所需数据组件,适合开发和小规模使用。生产环境应使用完整编排文件,并配置持久化、备份、网络加密、身份认证、资源限制和升级策略。
Kubernetes自托管
官方Helm方案面向AWS和Google Cloud集群,涉及PostgreSQL、ClickHouse、Redis、RabbitMQ、全文搜索和对象存储。公开企业镜像可以拉取,但某些集成和功能需要企业许可证密钥。
| 组件 | 主要职责 | 生产注意事项 |
|---|---|---|
| PostgreSQL | 账户、项目和元数据 | 高可用、备份和升级 |
| ClickHouse | 大规模追踪与分析数据 | 磁盘、对象存储和保留策略 |
| Redis | 缓存与临时状态 | 内存限制和故障恢复 |
| RabbitMQ | 异步处理队列 | 持久化、积压和监控 |
| Quickwit | 全文搜索索引 | 对象存储、索引规模和重建 |
| Frontend与App Server | 界面、接口和数据处理 | 版本锁定、扩容和网络入口 |
隐私与PII删除
云端项目可以在写入前启用服务器端PII删除,对每个Span的输入和输出检测姓名、邮箱、电话、账号及其他个人信息,并用占位符替换。原始文本不会进入追踪存储和搜索索引,但该功能只影响启用后的新Span。
- PII开关按项目配置,不是整个工作区统一配置。
- 现有历史追踪不会被自动重新处理。
- JSON字段名、Span名称、状态和成本等结构信息会保留。
- 通过追踪元数据写入的用户ID不会被此开关删除。
- 误识别或漏识别仍可能发生,敏感字段应优先在上游移除。
- 自托管团队需要自行配置访问、加密、备份和删除。
企业安全能力
公开套餐对比列出OAuth登录、SOC 2 Type II、HIPAA及服务器端PII删除等安全能力,但具体可用套餐需要结合控制台和合同确认。受监管团队还应审查子处理方、数据区域、保留和事件响应条款。
适合哪些用户
- 开发多步骤AI代理的工程团队。
- 需要监控模型、工具和子代理行为的平台团队。
- 为提示与模型变更建立回归评测的质量团队。
- 希望用自然语言发现生产异常的产品与运营人员。
- 需要SQL、仪表盘和全文搜索分析追踪的数据团队。
- 希望自托管开源可观测平台的企业。
- 让编程代理参与调试循环的开发者。
产品优势
- 针对长时间和多代理任务提供对话式追踪视图。
- OpenTelemetry原生,便于接入现有可观测体系。
- Signals可以跨完整追踪发现逻辑和业务问题。
- 调试器通过缓存回放减少重复调用成本。
- 评测、数据集、标注和生产追踪形成闭环。
- 支持SQL、MCP、CLI和自定义仪表盘。
- 核心平台与SDK采用宽松开源许可证。
限制与注意事项
- 全面追踪可能记录提示、工具结果和敏感业务数据。
- Signals依赖模型判断,可能产生误报或漏报。
- Trace Token与存储GB之间无法简单换算。
- Free仅保留7天并且不允许数据超额。
- 完整自托管栈包含多种数据库和中间件,运维门槛较高。
- 部分企业能力和集成需要商业许可证。
- 缓存重放不能替代真实端到端和负载测试。
- 自动仪表化范围会随框架版本变化。
选型与部署建议
- 统计代理运行量、平均追踪大小和保留要求。
- 列出必须追踪与必须排除的敏感字段。
- 先在测试项目接入SDK并检查Span结构。
- 确定使用云端还是自托管数据边界。
- 为错误、成本和业务结果建立初始Signals。
- 从生产失败构建小型回归数据集。
- 将评测加入持续集成但设置合理并发。
- 观察一个完整计费周期的GB与Signals用量。
- 为告警、保留、删除和权限制定运行手册。
- 定期验证备份、升级和故障恢复。
常见问题
Laminar是做什么的?
它用于追踪、调试、监控和评测AI代理及大语言模型应用。平台记录模型、工具和子代理运行,并提供Signals、数据集、SQL和仪表盘。
Laminar免费吗?
云端Free方案每月免费提供1GB数据、5美元Signals额度、7天保留、1个项目和1个席位。核心开源代码也可以自行部署,但基础设施与运维成本由用户承担。
Laminar开源吗?
是,核心仓库和主要SDK采用Apache第二版许可证。部分企业镜像、集成、许可证功能和托管服务仍属于商业能力。
Signals会读取所有追踪吗?
只有满足对应触发器和过滤条件的追踪才会被分析。系统先压缩追踪,再由内部代理调查完整运行并按需要读取具体Span。
可以自托管吗?
可以,轻量环境可使用Docker Compose,企业规模可以使用Helm部署到AWS或Google Cloud。生产部署需要自行维护数据库、搜索、对象存储、备份和安全。
是否支持Python和TypeScript?
支持,两种语言均有官方SDK,可进行自动仪表化、手动Span、函数观察和评测。采用前应确认框架版本与当前SDK集成兼容。
总结
Laminar把AI代理追踪、自然语言生产监控、缓存回放调试、离线评测和数据分析整合在一个OpenTelemetry原生平台中。它尤其适合需要理解长任务内部行为,而不满足于只看最终回答的工程团队。
托管版从免费到每月150美元并按数据与Signals用量扩展,开源版则提供更强的数据控制但需要承担完整运维。实际选型应围绕追踪数据量、保留周期、敏感信息、Signals成本和自托管复杂度进行验证。
桂公网安备45132202000164号