Cua

一句話介紹

Cua是一套面向Computer-Use AI代理的開源基礎設施，讓模型在隔離的Linux、Windows、macOS或Android環境中觀察螢幕、點擊、輸入、運行代碼並記錄可重現的軌跡。

工具簡介

Cua由Cua AI, Inc.開發，面向AI代理研發、評測、強化學習和數據生成團隊。它既提供本地開源沙箱，也提供按需申請的雲端、BYOC和本地部署專用機器集群。

該產品並非面向一般用戶的聊天機器人，而是一組用於驅動、沙箱環境、SDK開發、虛擬化以及測試的工具。使用者必須了解Python語言、虛擬機、容器技術、作業系統的權限設定，以及代理伺服器的安全性相關知識。

核心組件

主要功能

跨操作系統沙箱

同一套Sandbox與Image介面可以用來建立Linux容器、Linux虛擬機器、macOS、Windows以及Android環境。這些環境可以在本地的Docker、QEMU、Hyper-V或Apple虛擬化後端上運行，也可以遷移到Cua Cloud上。

螢幕與輸入控制

代理可截圖、讀取視窗狀態、移動滑鼠、點擊、鍵盤輸入、操作剪貼板並執行行動裝置的手勢。GUI操作與命令執行結合後，可覆蓋僅提供圖形介面而沒有穩定API的軟體。

後台桌面驅動

Cua Driver可以將輸入內容傳送到指定的應用程式視窗中，且盡量不會佔用使用者目前的滑鼠控制權、焦點或桌面空間。它適合在單台電腦上同時執行人工操作與代理任務，不過仍需要螢幕錄製功能、輔助功能，或是相應的系統權限。

鏡像構建

Image是不可變且可串聯配置的環境描述，可用於安裝系統套件、Python相關依賴項目、檔案以及初始化指令。它也可以從OCI鏡像、本機磁碟或ISO檔案中建立自訂環境。

臨時、持久與連接模式

臨時沙箱在任務結束後會被銷毀，適用於CI及一次性評測；而命名式持久沙箱則能夠在多個進程之間保持狀態；Connect模式僅用於連接現有的機器，不負責建立或刪除沙箱。

快照與分叉

使用者可以將已經完成昂貴初始化的磁碟狀態儲存為影像，再同時啟動多個寫時複製分支。每個分支都擁有獨立的可寫磁碟，且不會修改原始快照或其他分支的狀態。

並行機器集群

Cua Fleets將單個沙箱擴展為預熱機器池，可在毫秒級獲取環境並並行運行評測、強化學習回合或資料生成任務。官網目前透過申請方式提供專用集群。

軌跡與數據生成

每次螢幕觀察與操作都可以記錄為可回放的軌跡，用於調試、評測和訓練。官方還提供帶有評估器、人工審閱的黃金軌跡以及驗收標準的數據交付服務。

權限策略

Cua Driver可利用YAML或Rego來規定代理可以調用哪些工具、應用程式、瀏覽器通道以及目錄。這些策略會在本地原生執行時即被應用，因此SDK、CLI、MCP或套接字呼叫都無法繞過這些限制。

操作系統與運行後端

第一個本地沙箱教學

1. 準備受支持的Python和Docker環境，並確認虛擬化資源充足。
2. 安裝Cua Python套件，在專案中導入Sandbox與Image。
3. 選擇Linux容器作為首次測試，避免直接控制個人主機。
4. 用臨時生命週期啟動環境，並先執行無害的系統資訊命令。
5. 測試剪貼板、截圖和滑鼠輸入，再將結果儲存到單獨的目錄中。
6. 任務結束後確認臨時環境已經銷毀且沒有殘留敏感文件。
7. 需要重複使用時，請建立有明確名稱的鏡像或快照，切勿誤用持久沙箱。

安裝並限制Cua Driver

1. 在受支援的macOS、Windows或Linux裝置上安裝穩定版本的驅動程式。
2. 運行診斷命令檢查二進位、安裝目錄、遙測和平台依賴。
3. 按系統提示授予螢幕觀察與輔助控制權限，只在專用帳號上測試。
4. 優先選擇standard或bounded模式，不要預設使用unrestricted。
5. 用YAML或Rego明確允許截圖、窗口查詢及必要輸入工具，其餘保持拒絕。
6. 啟動服務後再連接MCP或SDK，使用無敏感應用驗證邊界。
7. 測試策略拒絕、會話撤銷和異常退出，再逐步擴大授權。

批量評測工作流

1. 定義任務、起始鏡像、成功判據、超時和禁止操作。
2. 從統一快照分叉多個獨立環境，避免不同回合互相污染。
3. 為每個代理固定模型、提示、隨機種子及軟體版本。
4. 並行運行任務並記錄螢幕、動作、命令、獎勵和失敗原因。
5. 用自動評估器檢查結果，再抽樣人工審閱軌跡。
6. 分開統計環境故障、代理決策錯誤和評估器誤判。
7. 發布結果時記錄Cua版本、鏡像哈希和許可證，保證可重現。

適合哪些用戶

• AI代理研究人員：構建跨系統Computer-Use基準和強化學習環境。
• 模型評測團隊：並行運行可重現任務並收集軌跡與成功率。
• 開發者：將螢幕觀察、輸入控制與命令執行接入自有代理。
• 桌面軟體團隊：在隔離環境中測試安裝、檔案及GUI工作流程。
• 數據團隊：生成經過自動評估和人工複核的操作軌跡數據。
• 企業AI平台團隊：採用BYOC或本地部署建立受控桌面代理集群。

典型使用場景

• 測試代理能否在不同主題、字體、語言和螢幕尺寸下完成同一任務。
• 讓編碼代理在臨時桌面上安裝應用、執行GUI步驟並保存截圖。
• 並行評測瀏覽器、Office、設計、CAD或舊版Windows軟體的任務。
• 創建Android環境安裝測試包並執行點擊、滑動和多點手勢。
• 在macOS後台控制特定應用窗口，同時不移動使用者目前的游標。
• 將成功與失敗的軌跡整理為訓練、回歸測試或行為審計數據。

權限模式對比

權限模式僅決定預設的自治邊界，使用者策略與管理員策略可進一步加嚴，但不得超出內建的上限。策略會在程式啟動時載入，修改後通常需要重新啟動程式才能生效。

價格與部署方式

截至2026年8月，Cua尚未公開列出按小時、按機器或按席位計算的雲端服務價格表。本地版的Sandbox、Driver、Bench和Lume可從GitHub下載使用，而專用的Fleets、託管服務、BYOC以及本地部署則需要申請定制方案。

開源免費並不代表運行時的成本為零。Windows和macOS的授權費用、雲端硬體、儲存空間、模型調用、人工標註以及安全運作，都可能成為主要的預算開支。

安全與隱私

• 電腦使用代理能夠查看螢幕、輸入文字、讀取剪貼簿以及操作應用程式，其權限相當於強大的遠端操作能力。
• 優先使用一次性沙箱、測試帳號、模擬數據和短期憑證，不要直接連接個人桌面。
• Cua Driver預設會傳送不包含內容的產品遙測資料，可透過指令關閉此功能，並檢視將要傳送的固定事件。
• 關閉遙測後會保留匿名安裝識別碼，重設識別碼可刪除該ID和事件標記。
• 官方隱私政策稱AI功能可能把輸入、輸出和個人資訊交給第三方AI服務商，包括OpenAI。
• 個人資訊會根據提供服務之需求及法律規定予以保留，並無承諾統一的固定期限。
• 官網列出了SOC 2 Type I、BYOC和On-prem功能，企業仍應索取目前的審計範圍及合約附件。
• 安裝第三方鏡像、APK和代理工具前應驗證渠道、哈希、許可證和惡意行為。

開源與許可證

trycua/cua的主倉庫採用MIT許可證，允許使用者進行使用、修改、散布及商業化利用，但必須保留版權及許可聲明。該軟體是按現有狀態提供，不附帶適銷性或特定用途的保證。

技術要求

產品優勢

• 一套介面涵蓋Linux、Windows、macOS和Android，便於跨平台復現實驗。
• 將程式碼執行與GUI控制放在同一沙箱，適合真實桌面任務。
• 臨時環境、快照和分叉降低任務互相污染與重複初始化成本。
• 開源SDK、驅動程式、虛擬化及基準工具便於審計與擴展。
• 權限策略在原生運行時邊界統一執行，覆蓋多種接入方式。
• 可從本地開發逐步擴展到雲端、BYOC和專用並行集群。

使用限制與注意事項

• 桌面代理對界面變化、延遲、字體、語言和彈窗敏感，成功率不能只測一次。
• 後台驅動的部分能力依賴操作系統內部或無障礙機制，升級後可能出現相容問題。
• 本地多系統虛擬化需要較高的硬體資源，macOS和Windows還涉及許可邊界。
• 雲端和專用集群沒有公開標準價格，項目預算需單獨溝通。
• 主倉庫雖為MIT，但可選模型、解析器、鏡像和應用各有許可證。
• 策略配置錯誤可能意外放出檔案、終端、剪貼板或已登入的瀏覽器。
• 軌跡可能包含螢幕中的個人資訊、金鑰和客戶數據，應加密、最小化並設定刪除期限。
• 代理執行刪除、購買、發信或公開發布前必須要求人工確認。

API、SDK與MCP

Cua提供Python SDK、CLI、MCP伺服器以及本機驅動程式介面。開發者可透過統一的Sandbox API來控制指令、截圖、滑鼠、鍵盤、剪貼板以及手勢操作，同時也能將驅動程式整合到Claude Code、Cursor、Codex等MCP用戶端中。

SDK與MCP僅是能力入口，實際使用時仍需在進程邊界、系統權限、網路及業務操作層面增加相關策略。不要將模型對自然語言的拒絕作為唯一的安全控制手段。

基本資訊

推薦指數

推薦指數為4.6分，滿分5分。Cua的應用範圍廣泛，開源規範明確，且能將沙箱、驅動程式、評測工具以及大規模集群整合成一條完整的技術路線。

主要門檻在於虛擬化與安全的複雜性、雲端服務的價格不透明，以及桌面代理本身仍不穩定。它適合用於研發和平台團隊，而不適合那些沒有隔離與審計功能的普通自動化使用者。

常見問題

Cua免費嗎？

本地開源框架可以免費使用，但需要自行承擔硬件、系統許可、模型及維護成本。雲端、專用Fleets、BYOC及數據服務則需另行詢價。

Cua支援哪些作業系統？

支援Linux、Windows、macOS和Android。不同的系統會使用Docker、QEMU、Hyper-V或Apple的虛擬化技術作為後端。

Cua是開源專案嗎？

是，主倉庫採用MIT許可證。可選omni依賴、OmniParser、操作系統鏡像和雲端商業服務需要分別判斷。

可以控制當前電腦嗎？

可以透過 Cua Driver 連接到目前的桌面環境，但風險較高於隔離沙箱。應使用 bounded 模式、最低權限以及專用的測試帳號。

可以在後台操作macOS應用嗎？

驅動程式支援將事件傳送至特定視窗，且不會移動主游標，適合用於後台操作。其相容性仍會受到應用程式、系統版本及權限的影響。

是否提供MCP？

提供。MCP適合用來將驅動程式連接到支援該協議的代理用戶端，而權限策略則仍在本機上執行時被強制遵守。

需要上傳數據到雲端嗎？

不一定，本地模式可以在自己的硬體上運行。當使用 Cua Cloud、第三方模型或託管資料服務時，資料的路徑會發生變化。

遙測可以關閉嗎？

可以。Driver預設會啟用不包含內容的產品遙測功能，使用者可關閉此功能、檢查相關事件，並重設匿名安裝識別碼。

適合生產自動化嗎？

可以作為基礎設施，但需先完成隔離、權限、回歸評測、人工審批和故障恢復。不能直接把研究Demo等同於生產可靠性。

能安裝Android應用嗎？

可以在Android鏡像中安裝APK並執行點擊、滑動和多點手勢。安裝包仍需驗證渠道、簽名和安全性。

總結

Cua為Computer-Use代理提供從單一本地沙箱到跨系統並行集群的開放技術架構，並兼顧軌跡、評測、權限與多種接入方式。

建議先在臨時Linux環境完成最小實驗，再根據任務逐步引入持久鏡像、桌面Driver和雲端集群；每擴大一層能力，都同步緊縮權限並驗證數據邊界。