Cloudglue 是什么
Cloudglue 是 Aviary Inc 开发的视频与音频上下文平台,核心形态是网页控制台、开发接口和软件开发工具包。它把语音、说话人、画面、屏幕文字、声音及元数据整理成可搜索、可提取、可供大模型推理的上下文。
该产品主要服务需要在应用中处理大量媒体内容的开发者与团队,而不是提供时间线剪辑、滤镜或成片生成的传统视频编辑器。
主要功能
多模态视频描述
- Describe 可按时间顺序生成视频描述,结果可包括摘要、转录、说话人区分、视觉场景、屏幕文字和音频事件。
- 用户可选择需要的模态,减少无关处理;结果适合字幕整理、内容审阅、无障碍描述和检索索引。
- 描述结果可以按片段读取,并可附带缩略图,便于应用跳转到对应时刻。
结构化数据提取
- Extract 接收自然语言提示或自定义结构,输出可供程序继续处理的实体和字段。
- 提示模式适合探索视频里有哪些信息,结构模式适合在访谈、商品视频、销售通话或研究素材中反复提取同一组字段。
- 实体集合可对一批视频套用统一提示和结构,帮助团队形成可比较的数据集。
分段、镜头与章节
- Segment 可按镜头或叙事章节拆分媒体,并返回每段的起止时间与描述。
- 开发者可以利用分段结果生成章节导航、短片候选、关键帧索引或细粒度搜索单元。
- 转录专用叙事分段适合主要依赖讲话内容的会议和播客;镜头分段更适合画面变化明显的视频。
跨视频搜索与问答
- Search 支持自然语言语义检索,可在文件或集合中查找相关视频、片段和具体时刻。
- 混合检索可组合一般内容、语音关键词、屏幕文字和标签等模态,减少只查转录时遗漏视觉信息的情况。
- Chat Completions 和 Responses API 可围绕一个或多个集合连续提问,并返回带时间戳的媒体引用。
- Deep Search 会执行多步检索和推理,适合跨大量视频制作有证据定位的研究答案;预览模型不应视为稳定承诺。
集合与媒体管理
- 集合用于组织同一项目的媒体,可建立媒体描述、实体等不同用途的索引。
- 文件接口可查看处理状态、时长、分辨率、编码和缩略图,也支持标签、分享资产、帧提取、脸部检测与匹配等端点。
- Webhook 可在异步处理完成或状态变化时通知业务系统,避免客户端持续轮询。
输入方式与能力差异
| 输入方式 | 支持内容 | 适合用途 | 重要限制 |
|---|---|---|---|
| 本地上传 | MP4、MOV、WEBM;也支持常见音频文件 | 完整多模态描述、提取、搜索与问答 | 大文件和批量任务更适合连接器或接口 |
| 公开链接 | 可直接访问的媒体地址、TikTok、Loom | 快速导入公开素材 | 链接必须可被服务访问,平台权限仍由用户负责 |
| YouTube | 公开视频链接 | 语音、转录和元数据任务 | 当前只按音频及元数据处理;完整视觉理解应上传原始文件 |
| 云端连接器 | Google Drive、Dropbox、Zoom、Gong、Grain、S3、GCS、Recall.ai、iconik | 批量导入和生产管线 | 需分别授权;撤销连接不会自动删除已导入文件 |
典型使用流程
- 注册账户并在控制台创建 API 密钥;密钥应保存在服务端环境变量中,不要写入前端代码或公开仓库。
- 上传本地媒体、粘贴公开链接,或授权云端连接器,再检查文件处理状态。
- 单文件任务可直接调用 Describe、Extract 或 Segment;批量检索和问答先建立集合并加入文件。
- 根据任务选择摘要、语音、画面、屏幕文字、结构字段或分段策略,并为异步任务配置状态查询或 Webhook。
- 用 Search、Chat 或 Responses 查询集合,将返回的时间戳和媒体引用映射到播放器或业务界面。
- 在上线前记录每个端点的积分消耗、响应状态和失败重试,按账户实际限额设置并发与预算。
适合用户与场景
- 开发团队:为知识库、客服或智能体增加视频检索和问答,而无需自行维护转录、视觉模型及向量检索管线。
- 销售与客户成功团队:从通话和演示中提取异议、需求、产品反馈及行动项,并保留可定位的片段。
- 研究与媒体团队:在访谈、课程、播客或素材库中查找人物、主题、画面与原话出现的时刻。
- 平台型产品:为视频管理、内容审核、会议情报或教育应用提供结构化媒体数据。
- 自动化团队:通过连接器、接口、Webhook 和 MCP,把媒体分析接入现有工作流或 AI 助手。
价格套餐
公开价格以美元展示为积分包,订阅型需求和大型团队方案需联系销售。页面没有明确写出积分包有效期、税费、退款和未用积分处理规则,购买前应在结算页确认。
| 套餐或版本 | 价格 | 计费周期 | 核心权益或额度 | 适合用户 |
|---|---|---|---|---|
| Free | 0 美元 | 免费额度 | 200 积分、200 次聊天请求、25 分钟索引 | 体验与小型原型 |
| Mini | 15 美元 | 积分包,周期未注明 | 1000 积分、1000 次聊天请求、2 小时索引 | 个人测试和轻量项目 |
| Starter | 45 美元 | 积分包,周期未注明 | 3000 积分、3000 次聊天请求、6 小时索引 | 持续开发的小型应用 |
| Builder | 350 美元 | 积分包,周期未注明 | 30000 积分、30000 次聊天请求、63 小时索引 | 较高用量的生产开发 |
| Scale | 600 美元 | 积分包,周期未注明 | 60000 积分、60000 次聊天请求、125 小时索引 | 大批量媒体处理 |
| Enterprise | 联系销售 | 定制 | 面向大型团队的定制方案与折扣 | 企业采购与特殊容量需求 |
服务条款同时把订阅期写为月度按量付费,并说明按月开票、收票后 5 天内付款。该表述与公开页的“选择积分包”不完全相同,实际购买方式、续费和付款条件应以账户结算页或企业订单为准。
主要积分消耗
| 操作 | 公开积分规则 | 计量方式 |
|---|---|---|
| Extract | 4 积分 | 每分钟素材 |
| Transcribe 或 Describe | 4 积分 | 每分钟素材 |
| 上传视频 | 包含 | 文件操作 |
| 实体集合索引 | 4 积分 | 每分钟素材 |
| 媒体集合索引 | 4 积分 | 每分钟素材 |
| Chat Completion | 1 积分 | 每次请求 |
| Search | 1 积分 | 每次搜索 |
积分只在成功请求时按端点和功能消耗。场景分段等个别项目在公开表中的值不够清晰,不能据此推定为免费。
额度与使用限制
- 接口会执行速率与用量限制,超限会返回相应错误;更高限制需联系团队。
- 额度文档仍使用 Free Tier 和 Basic Tier,而现行价格页使用 Mini、Starter、Builder、Scale 等名称,两者不能自动对应。
- 额度页列出的 Free 和 Basic 均为每月最多 100 个文件、总存储 10GB、总视频时长 1000 小时;集合数分别为 50 和 100,每集合文件数分别为 50 和 100。
- 同一页还列出每月提取和转录次数分别为 200 与 400;聊天额度为 Free 每月 500 且每日 50,Basic 每月 30000 且每日 1000。
- 这些技术额度与价格页的积分、聊天请求数并存,生产部署前应在账户后台确认当前套餐的真实上限。
API、SDK 与 MCP
| 组件 | 接入方式 | 许可证 | 说明 |
|---|---|---|---|
| Cloudglue API | REST 与 Bearer API 密钥 | 专有服务 | 覆盖文件、集合、描述、提取、搜索、聊天、Responses 与管理端点 |
| JavaScript SDK | npm 包 | Apache-2.0 | 适合 Node.js 和 TypeScript 应用 |
| Python SDK | Python 包 | Apache-2.0 | 适合数据处理、后端和自动化脚本 |
| MCP Server | npm 命令或桌面扩展 | MIT | 可把视频集合工具接入兼容 MCP 的 AI 客户端 |
开源的是 SDK 和 MCP Server 客户端代码,不代表 Cloudglue 的托管平台、模型编排或基础设施开源。使用这些组件仍需要 Cloudglue 账户、密钥、积分,并受平台条款约束。
能力边界
- 自动描述、转录、实体提取和推理可能遗漏细节或产生错误,法律、医疗、安全与合规场景需要人工复核原始媒体。
- YouTube 链接当前缺少完整画面理解;若任务依赖动作、物体、屏幕文字或镜头变化,应上传可处理的原文件。
- 视频处理通常是异步任务,延迟受时长、分辨率、所选模态、队列和集合规模影响。
- Deep Search 和预览模型处于快速演进阶段,接口参数、质量和成本可能变化,生产环境应锁定版本并阅读更新日志。
- 可播放引用帮助定位证据,但不等同于事实正确;最终判断仍应回看对应片段。
隐私、安全与版权
- 服务会处理注册邮箱、第三方登录资料、上传的视频或数据,以及网站和产品使用分析。
- 隐私政策列出 PostHog 用于行为分析、Stripe 用于支付,并称不会出售、出租或交易个人信息。
- 个人信息和上传内容会按提供服务、法律义务与解决争议所需的时间保存,但没有公布固定保留或自动删除天数。
- 欧洲经济区用户可请求访问、更正、删除、携带、限制或反对处理;删除连接器不会自动删除此前已导入的媒体。
- 用户保留所上传视频和数据的权利,同时必须确认拥有处理、转录、分析和共享相关素材的授权。
- 条款禁止处理违法、有害或色情内容,也禁止绕过用量限制、逆向探测、未经书面许可转售接口,以及用平台构建或运行竞争产品。
- 平台输出的复制、修改和再分发只在条款或对应 SDK 许可证明确允许时成立;商业上线前应审查素材版权、肖像权、隐私同意和客户合同。
退款与采购注意事项
公开条款没有单独说明自助积分包退款、撤销购买或剩余积分返还规则。企业订单、按月开票和自助积分包可能适用不同条件,付款前应保存结算页面并确认退款、到期、续费和税费。
总结
Cloudglue 的价值在于把多模态视频解析、集合索引、检索、问答和结构化提取组合成统一开发接口,并提供 SDK、MCP 与多种媒体连接器。它适合需要把视频变成可查询业务数据的产品团队,但上线前应重点验证 YouTube 模态限制、当前账户额度、积分成本和内容处理合规。
©️版权声明:若无特殊声明,本站所有文章版权均归AI工具分享原创和所有,未经许可,任何个人、媒体、网站、团体不得转载、抄袭或以其他方式复制发表本站内容,或在非我站所属的服务器上建立镜像。否则,我站将依法保留追究相关法律责任的权利。
桂公网安备45132202000164号