Cua

一句话介绍

Cua是一套面向Computer-Use AI代理的开源基础设施，让模型在隔离的Linux、Windows、macOS或Android环境中观察屏幕、点击、输入、运行代码并记录可复现轨迹。

工具简介

Cua由Cua AI, Inc.开发，面向AI代理研发、评测、强化学习和数据生成团队。它既提供本地开源沙箱，也提供按需申请的云端、BYOC和本地部署专用机器集群。

产品不是一个面向普通用户的聊天机器人，而是一组驱动、沙箱、SDK、虚拟化和基准工具。使用者需要理解Python、虚拟机、容器、操作系统权限与代理安全。

核心组件

主要功能

跨操作系统沙箱

同一套Sandbox与Image接口可以创建Linux容器、Linux虚拟机、macOS、Windows和Android环境。环境可在本地Docker、QEMU、Hyper-V或Apple虚拟化后端运行，也可迁移到Cua Cloud。

屏幕与输入控制

代理可截图、读取窗口状态、移动鼠标、点击、键盘输入、操作剪贴板和执行移动端手势。GUI操作与命令执行结合后，可覆盖只提供图形界面而没有稳定API的软件。

后台桌面驱动

Cua Driver可以把输入发送到指定应用窗口，尽量不抢占用户当前鼠标、焦点或桌面空间。它适合在本机同时运行人工工作和代理任务，但仍需要屏幕录制、辅助功能或相应系统权限。

镜像构建

Image是不可变且可链式配置的环境描述，可安装系统包、Python依赖、文件和初始化命令。也能从OCI镜像、本地磁盘或ISO构建自定义环境。

临时、持久与连接模式

临时沙箱在任务结束后销毁，适合CI和一次性评测；命名持久沙箱可以跨进程保留状态；Connect模式只连接现有机器，不负责创建或删除。

快照与分叉

用户可以把已完成昂贵初始化的磁盘状态保存为Image，再并行启动多个写时复制分叉。每个分叉拥有独立可写磁盘，不会修改原始快照和兄弟环境。

并行机器集群

Cua Fleets把单个沙箱扩展为预热机器池，可在毫秒级领取环境并并行运行评测、强化学习回合或数据生成任务。官网当前通过申请方式提供专用集群。

轨迹与数据生成

每次屏幕观察与操作可以记录为可回放轨迹，用于调试、评测和训练。官方还提供带评估器、人工审阅黄金轨迹及验收标准的数据交付服务。

权限策略

Cua Driver可使用YAML或Rego规定代理能调用哪些工具、应用、浏览器渠道和目录。策略在本机原生运行时边界执行，SDK、CLI、MCP或套接字调用不能绕过拒绝结果。

操作系统与运行后端

第一个本地沙箱教程

1. 准备受支持的Python和Docker环境，并确认虚拟化资源充足。
2. 安装Cua Python包，在项目中导入Sandbox与Image。
3. 选择Linux容器作为首次测试，避免直接控制个人主机。
4. 用临时生命周期启动环境，并先执行无害的系统信息命令。
5. 测试剪贴板、截图和鼠标输入，再保存结果到单独目录。
6. 任务结束后确认临时环境已经销毁且没有残留敏感文件。
7. 需要复用时创建明确命名的镜像或快照，不要误用持久沙箱。

安装并限制Cua Driver

1. 在受支持的macOS、Windows或Linux设备安装稳定版本Driver。
2. 运行诊断命令检查二进制、安装目录、遥测和平台依赖。
3. 按系统提示授予屏幕观察与辅助控制权限，只在专用账号上测试。
4. 优先选择standard或bounded模式，不要默认使用unrestricted。
5. 用YAML或Rego明确允许截图、窗口查询及必要输入工具，其余保持拒绝。
6. 启动服务后再连接MCP或SDK，使用无敏感应用验证边界。
7. 测试策略拒绝、会话撤销和异常退出，再逐步扩大授权。

批量评测工作流

1. 定义任务、起始镜像、成功判据、超时和禁止操作。
2. 从统一快照分叉多个独立环境，避免不同回合互相污染。
3. 为每个代理固定模型、提示、随机种子和软件版本。
4. 并行运行任务并记录屏幕、动作、命令、奖励和失败原因。
5. 用自动评估器检查结果，再抽样人工审阅轨迹。
6. 分开统计环境故障、代理决策错误和评估器误判。
7. 发布结果时记录Cua版本、镜像哈希和许可证，保证可复现。

适合哪些用户

• AI代理研究人员：构建跨系统Computer-Use基准和强化学习环境。
• 模型评测团队：并行运行可复现任务并收集轨迹与成功率。
• 开发者：把屏幕观察、输入控制和命令执行接入自有代理。
• 桌面软件团队：在隔离环境中测试安装、文件和GUI工作流。
• 数据团队：生成经过自动评估和人工复核的操作轨迹数据。
• 企业AI平台团队：采用BYOC或本地部署建立受控桌面代理集群。

典型使用场景

• 测试代理能否在不同主题、字体、语言和屏幕尺寸下完成同一任务。
• 让编码代理在临时桌面中安装应用、执行GUI步骤并保存截图。
• 并行评测浏览器、Office、设计、CAD或遗留Windows软件任务。
• 创建Android环境安装测试包并执行点击、滑动和多点手势。
• 在macOS后台控制特定应用窗口，同时不移动用户当前光标。
• 把成功和失败轨迹整理为训练、回归测试或行为审计数据。

权限模式对比

权限模式只决定默认自治边界，用户策略和管理员策略可以继续收紧，不能扩展到内置上限之外。策略在进程启动时载入，修改后通常需要重启运行时。

价格与部署方式

截至2026年8月，Cua没有公开按小时、按机器或按席位的云端价格表。本地Sandbox、Driver、Bench和Lume可从GitHub使用，专用Fleets、托管、BYOC及本地部署需要申请定制方案。

开源免费不代表运行零成本。Windows和macOS许可、云硬件、存储、模型调用、人工标注和安全运营都可能成为主要预算。

安全与隐私

• Computer-Use代理能看到屏幕、输入文字、读取剪贴板和操作应用，权限等同于强大的远程操作能力。
• 优先使用一次性沙箱、测试账号、模拟数据和短期凭据，不要直接连接个人桌面。
• Cua Driver默认发送不含内容的产品遥测，可通过命令关闭并检查将发送的固定事件。
• 关闭遥测后会保留匿名安装标识，重置标识可删除该ID和事件标记。
• 官方隐私政策称AI功能可能把输入、输出和个人信息交给第三方AI服务商，包括OpenAI。
• 个人信息按实现服务目的和法律要求保留，没有承诺统一固定期限。
• 官网列出SOC 2 Type I、BYOC和On-prem能力，企业仍应索取当前审计范围及合同附件。
• 安装第三方镜像、APK和代理工具前应验证渠道、哈希、许可证和恶意行为。

开源与许可证

trycua/cua主仓库采用MIT许可证，允许使用、修改、分发和商业化，但需要保留版权与许可声明。软件按现状提供，不含适销性或特定用途保证。

技术要求

产品优势

• 一套接口覆盖Linux、Windows、macOS和Android，便于跨平台复现实验。
• 把代码执行与GUI控制放在同一沙箱，适合真实桌面任务。
• 临时环境、快照和分叉降低任务互相污染与重复初始化成本。
• 开源SDK、驱动、虚拟化和基准工具便于审计与扩展。
• 权限策略在原生运行时边界统一执行，覆盖多种接入方式。
• 可从本地开发逐步扩展到云端、BYOC和专用并行集群。

使用限制与注意事项

• 桌面代理对界面变化、延迟、字体、语言和弹窗敏感，成功率不能只测一次。
• 后台驱动的部分能力依赖操作系统内部或无障碍机制，升级后可能出现兼容问题。
• 本地多系统虚拟化需要较高硬件资源，macOS和Windows还涉及许可边界。
• 云端和专用集群没有公开标准价格，项目预算需单独沟通。
• 主仓库虽为MIT，但可选模型、解析器、镜像和应用各有许可证。
• 策略配置错误可能意外放开文件、终端、剪贴板或已登录浏览器。
• 轨迹可能包含屏幕中的个人信息、密钥和客户数据，应加密、最小化并设置删除期限。
• 代理执行删除、购买、发信或公开发布前必须要求人工确认。

API、SDK与MCP

Cua提供Python SDK、CLI、MCP服务器和本机Driver接口。开发者可用统一Sandbox API控制命令、截图、鼠标、键盘、剪贴板和移动手势，也能把Driver接入Claude Code、Cursor、Codex等MCP客户端。

SDK与MCP只是能力入口，生产使用仍需在进程边界、系统权限、网络和业务操作层增加策略。不要把模型的自然语言拒绝当作唯一安全控制。

基本信息

推荐指数

推荐指数为4.6分，满分5分。Cua覆盖系统广、开源边界清晰，并把沙箱、驱动、评测和规模化集群连成一条完整技术路线。

主要门槛是虚拟化与安全复杂度、云端价格不公开，以及桌面代理本身仍不稳定。它适合研发和平台团队，不适合没有隔离与审计能力的普通自动化用户。

常见问题

Cua免费吗？

本地开源框架可以免费使用，但需要自行承担硬件、系统许可、模型和维护成本。云端、专用Fleets、BYOC及数据服务采用询价。

Cua支持哪些操作系统？

支持Linux、Windows、macOS和Android。不同系统使用Docker、QEMU、Hyper-V或Apple虚拟化等后端。

Cua是开源项目吗？

是，主仓库采用MIT许可证。可选omni依赖、OmniParser、操作系统镜像和云端商业服务需要分别判断。

可以控制当前电脑吗？

可以通过Cua Driver连接当前桌面，但风险高于隔离沙箱。应使用bounded模式、最小权限和专用测试账号。

可以在后台操作macOS应用吗？

Driver支持把事件发送到特定窗口而不移动主光标，适合后台操作。兼容性仍受应用、系统版本和权限影响。

是否提供MCP？

提供。MCP适合把Driver连接到支持该协议的代理客户端，权限策略仍在本机运行时强制执行。

需要上传数据到云端吗？

不一定，本地模式可以在自己的硬件运行。使用Cua Cloud、第三方模型或托管数据服务时，数据路径会发生变化。

遥测可以关闭吗？

可以。Driver默认启用不含内容的产品遥测，用户可关闭、检查事件并重置匿名安装标识。

适合生产自动化吗？

可以作为基础设施，但需先完成隔离、权限、回归评测、人工审批和故障恢复。不能直接把研究Demo等同于生产可靠性。

能安装Android应用吗？

可以在Android镜像中安装APK并执行点击、滑动和多点手势。安装包仍需验证渠道、签名和安全性。

总结

Cua为Computer-Use代理提供从单个本地沙箱到跨系统并行集群的开放技术栈，并兼顾轨迹、评测、权限与多种接入方式。

建议先在临时Linux环境完成最小实验，再根据任务逐步引入持久镜像、桌面Driver和云端集群；每扩大一层能力，都同步收紧权限并验证数据边界。