Cua

Eine kurze Beschreibung

Cua ist eine Open-Source-Infrastruktur für Computer-basierte KI-Agenten, die es Modellen ermöglicht, in isolierten Umgebungen unter Linux, Windows, macOS oder Android den Bildschirm zu beobachten, zu klicken, Eingaben zu machen, Code auszuführen und wiederholbare Abläufe aufzuzeichnen.

Einführung in die Tools

Cua wurde von Cua AI, Inc. entwickelt und richtet sich an Teams, die sich mit der Entwicklung, Bewertung sowie dem Einsatz von KI-Agenten sowie mit Methoden des Reinforcement Learning und der Datenerzeugung beschäftigen. Es bietet sowohl eine lokale, open-source-basierte Umgebung als auch Cloud-, BYOC- und lokale Rechenclustern, die auf Anfrage bereitgestellt werden können.

Das Produkt ist kein Chatbot für normale Benutzer, sondern eine Sammlung aus Tools zur Steuerung, Sandbox-Technologien, SDKs, Virtualisierungsfunktionen sowie Benchmarks. Die Nutzer müssen sich mit Python, virtuellen Maschinen, Containern, Rechte von Betriebssystemen sowie Sicherheitsaspekten von Proxys auskennen.

Kernkomponenten

Hauptfunktionen

Cross-Operating-System-Sandbox

Mit derselben Sandbox- und Image-Schnittstelle können Linux-Kontainer, Linux-Virtualmaschinen sowie Umgebungen für macOS, Windows und Android erstellt werden. Die Umgebungen können lokal mit Docker, QEMU, Hyper-V oder Apple’s Virtualisierungsplattformen ausgeführt werden – oder auch auf Cua Cloud migriert werden.

Bildschirm und Eingabekontrolle

Der Agent kann Screenshots erstellen, den Zustand der Fenster abrufen, die Maus bewegen, klicken, Tasteneingaben vornehmen, mit dem Zwischenablagefach arbeiten und Touch-Gesten ausführen. Durch die Kombination von GUI-Operationen und Befehlsausführung können Softwarelösungen ersetzt werden, die nur eine grafische Benutzeroberfläche bieten, aber keine stabile API besitzen.

Hintergrund-Desktop-Treiber

Der Cua Driver kann Eingaben an ein bestimmtes Anwendungsfenster senden, wobei versucht wird, den aktuellen Mauszeiger des Benutzers, die Fokussierung oder den Desktopraum nicht zu beeinträchtigen. Er eignet sich dazu, auf demselben Gerät sowohl manuelle Aufgaben als auch Agentenaufgaben auszuführen, erfordert jedoch weiterhin eine Bildaufnahme, Hilfsmittel oder entsprechende Systemrechte.

Spiegelbild-Construction

Ein Image ist eine unveränderliche und schrittweise konfigurierbare Beschreibung einer Umgebung, in der Systempakete, Python-Abhängigkeiten, Dateien sowie Initialisierungsanweisungen installiert werden können. Ebenso können benutzerdefinierte Umgebungen aus OCI-Images, lokalen Festplatten oder ISO-Dateien erstellt werden.

Temporär, dauerhaft und Verbindungsmodi

Temporäre Sandboxes werden nach Abschluss der Aufgabe zerstört und eignen sich für CI sowie einmalige Tests; persistent benannte Sandboxes können ihren Zustand über Prozesse hinweg beibehalten; im Connect-Modus wird nur eine bestehende Maschine verbunden – es wird nicht für die Erstellung oder Löschung von Maschinen gesorgt.

Schnappschüsse und Branchen

Benutzer können den Zustand einer Festplatte, deren teure Initialisierung bereits abgeschlossen ist, als Image speichern und anschließend mehrere Write-While-Copy-Branches parallel starten. Jeder Branch verfügt über eine eigene, schreibbare Festplatte und ändert weder das ursprüngliche Snapshot noch die anderen Umgebungen.

Parallel-Maschinenclustern

Cua Fleets erweitert einzelne Sandkästen zu Pools von Vorbereitungsmaschinen, die Umgebungen in Millisekunden bereitstellen und parallel Bewertungen, Lernalgorithmus-Schritte oder Datenerzeugungsaufgaben ausführen können. Die offizielle Website bietet derzeit über Anfragen dedizierte Clustern an.

Bahn und Datengenerierung

Jede Bildschirmbeobachtung und -bedienung kann als wiedergabefähiger Verlauf aufgezeichnet werden, der zur Fehlersuche, Bewertung und Schulung verwendet werden kann. Zudem bietet das Unternehmen einen Datenauslieferungsservice mit Evaluierwerkzeugen, manueller Überprüfung der „Gold-Verläufe“ sowie Akzeptanzkriterien.

Rechtspolitik

Der Cua Driver kann mithilfe von YAML oder Rego festlegen, welche Tools, Anwendungen, Browserkanäle und Verzeichnisse vom Proxy aufgerufen werden dürfen. Die Richtlinien werden direkt auf dem lokalen System umgesetzt – SDKs, CLI-Tools, MCP oder Socket-Aufrufe können die Ablehnungsentscheidungen nicht umgehen.

Betriebssystem und laufende Backend-Systeme

Erster Tutorial zur lokalen Sandbox

1. Stellen Sie eine unterstützte Python- und Docker-Umgebung bereit und stellen Sie sicher, dass ausreichende Virtualisierungsressourcen vorhanden sind.
2. Installieren Sie das Cua-Python-Paket und importieren Sie Sandbox sowie Image in Ihrem Projekt.
3. Wählen Sie einen Linux-Container für den ersten Test, um eine direkte Steuerung des persönlichen Hosts zu vermeiden.
4. Starten Sie die Umgebung mit einem temporären Lebenszyklus und führen Sie zunächst schädigungsfreie Befehle zur Abfrage von Systeminformationen aus.
5. Testen Sie die Zwischenablage, Screenshots und Mauseingaben und speichern Sie die Ergebnisse in einem separaten Verzeichnis.
6. Nach Abschluss der Aufgabe wird überprüft, dass die vorübergehende Umgebung zerstört wurde und es keine verbleibenden sensiblen Dateien gibt.
7. Wenn Wiederverwendung erforderlich ist, sollten klar benannte Images oder Snapshots erstellt werden; die persistenten Sandboxes dürfen nicht fälschlicherweise verwendet werden.

Cua-Treiber installieren und einschränken

1. Installieren Sie die stabile Version des Treibers auf unterstützten macOS-, Windows- oder Linux-Geräten.
2. Führen Sie Diagnosebefehle aus, um Binärdateien, Installationskataloge, Telemetrie sowie Plattformanforderungen zu überprüfen.
3. Genehmigen Sie gemäß den Anweisungen des Systems die Berechtigungen zur Bildschirmanzeige und zur unterstützenden Steuerung – testen Sie dies nur unter einem speziellen Konto.
4. Wählen Sie vorzugsweise den Standard- oder begrenzten Modus – verwenden Sie nicht standardmäßig den unbeschränkten Modus.
5. Mit YAML oder Rego werden Screenshots, Fensterabfragen sowie notwendige Eingabewerkzeuge ausdrücklich erlaubt, alles andere bleibt verwehrt.
6. Verbinden Sie sich nach dem Starten des Services mit MCP oder SDK, um die Grenzen mit einer nicht sensiblen Anwendung zu überprüfen.
7. Teststrategien wie Ablehnung, Session-Abbruch und abnormales Beenden, gefolgt von schrittweiser Erweiterung der Berechtigungen.

Workflow für Batch-Bewertungen

1. Definieren Sie Aufgaben, Startbild, Erfolgskriterien, Zeitüberschreitung und verbotene Aktionen.
2. Von einem einheitlichen Snapshot aus werden mehrere unabhängige Umgebungen abgeleitet, um zu vermeiden, dass sich die verschiedenen Runden gegenseitig beeinflussen.
3. Für jeden Agenten werden ein festes Modell, Prompt, Zufallsseed und Softwareversion festgelegt.
4. Parallel ausführen von Aufgaben und Protokollierung von Bildschirm, Aktionen, Befehlen, Belohnungen und Ursachen für Misserfolge.
5. Überprüfen Sie die Ergebnisse mit einem automatischen Bewertungstool und prüfen Sie anschließend eine Stichprobe der Verläufe manuell.
6. Trennt die Erfassung von Umgebungsfehlern, Fehlentscheidungen der Agenten und Fehlbewertungen des Evaluators.
7. Bei der Veröffentlichung der Ergebnisse werden die Cua-Version, der Image-Hash und die Lizenz aufgezeichnet, um Wiederholbarkeit zu gewährleisten.

Für welche Benutzer geeignet

• Forscher für KI-Agenten: Entwicklung von Computer-Use-Benchmarks und Lernalandschaften für Verstärkungslernen zwischen Systemen.
• Modellbewertungsteam: Parallel ausgeführte, reproduzierbare Aufgaben zur Erfassung von Verläufen und Erfolgsraten.
• Entwickler: Führen Sie die Bildschirmüberwachung, Eingabekontrolle und Befehlsausführung über Ihren eigenen Proxy durch.
• Desktop-Software-Team: Testen von Installation, Dateien und GUI-Workflows in einer isolierten Umgebung.
• Daten-Team: Erstellung von Daten zu den Betriebsverläufen, die durch automatische Bewertung und manuelle Überprüfung erstellt werden.
• Team für Unternehmens-AI-Plattformen: Einsatz von BYOC oder lokaler Installation zur Einrichtung kontrollierter Desktop-Agent-Cluster.

Typische Anwendungsszenarien

• Prüfen, ob der Agent dieselbe Aufgabe bei verschiedenen Themen, Schriftarten, Sprachen und Bildschirmgrößen erledigen kann.
• Lassen Sie den Encoding-Agenten Anwendungen auf dem temporären Desktop installieren, GUI-Schritte ausführen und Screenshot-Saves erstellen.
• Parallelen Test von Browsern, Office-Programmen, Design-Tools, CAD-Programmen oder veralteten Windows-Software-Anwendungen.
• Erstellen Sie eine Android-Umgebung, um ein Testpaket zu installieren und Klick-, Wisch- sowie Mehrfachfinger-Gesten auszuführen.
• Im Hintergrund von macOS bestimmte Anwendungsfenster steuern, ohne den aktuellen Cursor des Benutzers zu verschieben.
• Ordnen Sie die Erfolgs- und Misserfolgsdaten als Trainings-, Rückführungstest- oder Verhaltensaudits-Daten.

Vergleich der Berechtigungsmodi

Der Berechtigungsmodus legt nur die standardmäßigen Autonomiegrenzen fest; Benutzer- und Administratorrichtlinien können diese Grenzen weiter einschränken, dürfen aber nicht über die eingebauten Grenzwerte hinausgehen. Die Richtlinien werden beim Start des Prozesses geladen; nach Änderungen ist in der Regel ein Neustart des Prozesses erforderlich.

Preise und Bereitstellungsweise

Stand August 2026 veröffentlichte Cua keine offiziellen Preistabellen für die Cloud-Nutzung pro Stunde, pro Maschine oder pro Sitzplatz. Die lokalen Versionen Sandbox, Driver, Bench und Lume sind über GitHub verfügbar; für spezielle Fleets, Hosting-Lösungen, BYOC-Optionen sowie lokale Implementierungen ist eine Anfrage für individuelle Lösungen erforderlich.

Offene, kostenlose Lösungen bedeuten nicht, dass die Nutzung keiner Kosten verursacht. Lizenzen für Windows und macOS, Cloud-Hardware, Speicherplatz, Aufrufe von Modellen, manuelle Bearbeitung sowie sichere Betriebsabläufe können alle zu den wesentlichen Kostenfaktoren werden.

Sicherheit und Privatsphäre

• Ein Computer-Use-Agent kann den Bildschirm ansehen, Text eingeben, den Zwischenablageinhalt lesen und Anwendungen steuern – seine Befugnisse entsprechen somit denen einer leistungsstarken Fernsteuerung.
• Verwenden Sie vorrangig einmalige Sandboxes, Testkonten, Simulationsdaten und kurzfristige Zugangsdaten – verbinden Sie sich nicht direkt mit dem persönlichen Desktop.
• Der Cua-Driver sendet standardmäßig Produkt-Telemetriedaten ohne Inhalt. Dies kann per Befehl deaktiviert werden, und es ist möglich, die zu sendenden festgelegten Ereignisse zu überprüfen.
• Nach Deaktivierung der Telemetrie bleibt die anonyme Installations-ID erhalten. Durch Zurücksetzen der ID kann diese sowie die Ereignismarkierungen gelöscht werden.
• Laut der offiziellen Datenschutzerklärung können die KI-Funktionen Eingaben, Ausgaben sowie personenbezogene Daten an Drittanbieter für KI-Dienste weitergeben, einschließlich OpenAI.
• Personenbezogene Daten werden so lange aufbewahrt, wie es zur Erbringung der Dienstleistungen und gesetzlichen Anforderungen notwendig ist; es wird keine feste Frist zugesichert.
• Die offizielle Website listet die SOC 2 Type I-, BYOC- und On-prem-Fähigkeiten auf; Unternehmen sollten den aktuellen Umfang der Prüfung sowie die Vertragsanhänge einfordern.
• Bevor man Drittanbieter-Spiegel, APKs und Proxy-Tools installiert, sollten Quelle, Hash, Lizenz sowie potenziell bösartige Aktivitäten überprüft werden.

Open Source und Lizenzen

Das Hauptlager von trycua/cua verwendet die MIT-Lizenz, die die Nutzung, Änderung, Verbreitung und Kommerzialisierung erlaubt, wobei die Urheberrechte sowie die Lizenzbedingungen beibehalten werden müssen. Die Software wird in ihrem aktuellen Zustand bereitgestellt, ohne Gewährleistung hinsichtlich Markttauglichkeit oder für einen bestimmten Zweck.

Technische Anforderungen

Vorteile des Produkts

• Ein Satz an Schnittstellen deckt Linux, Windows, macOS und Android ab, um Experimente plattformübergreifend durchzuführen.
• Die Ausführung des Codes sowie die Steuerung über die GUI in derselben Sandbox zu platzieren, eignet sich für echte Desktop-Aufgaben.
• Temporäre Umgebungen, Snapshots und Branches verringern die gegenseitige Kontamination von Aufgaben sowie die Kosten für wiederholte Initialisierungen.
• Open-Source-SDKs, Treiber, Virtualisierungstools und Benchmarking-Tools erleichtern die Audits und Erweiterungen.
• Die Berechtigungsrichtlinien werden bei der nativen Ausführung einheitlich angewendet und decken verschiedene Anschlussmöglichkeiten ab.
• Von der lokalen Entwicklung aus kann man schrittweise auf die Cloud, BYOC und dedizierte parallele Clustern erweitern.

Einsatzbeschränkungen und Hinweise

• Desktop-Proxye sind empfindlich gegenüber Änderungen der Benutzeroberfläche, Verzögerungen, Schriftarten, Sprache und Pop-ups – die Erfolgsrate kann daher nicht nur einmal gemessen werden.
• Einige der im Hintergrund ausgeführten Funktionen sind von den internen Mechanismen des Betriebssystems oder von Barrierefreiheitsfunktionen abhängig; nach einem Update können Kompatibilitätsprobleme auftreten.
• Die lokale Multisystem-Virtualisierung erfordert hohe Hardware-Ressourcen, und macOS sowie Windows sind zudem an Lizenzbeschränkungen gebunden.
• Für Cloud- und dedizierte Clustern gibt es keine offiziellen Standardpreise; das Projektbudget muss individuell besprochen werden.
• Obwohl das Hauptlager beim MIT liegt, haben die verfügbaren Modelle, Parser, Spiegel und Anwendungen jeweils eigene Lizenzen.
• Fehlerhafte Konfiguration der Strategie kann versehentlich Dateien, Terminals, die Zwischenablage oder den angemeldeten Browser freigeben.
• Die Spuren können persönliche Informationen, Schlüssel und Kundendaten auf dem Bildschirm enthalten; sie sollten verschlüsselt, minimiert und ein Ablaufdatum für ihre Löschung festgelegt werden.
• Bevor eine Agentur Löschungen, Käufe, Versendungen oder öffentliche Veröffentlichungen durchführt, muss eine manuelle Bestätigung eingeholt werden.

API, SDK und MCP

Cua stellt ein Python SDK, eine CLI, MCP-Server sowie lokale Driver-Schnittstellen bereit. Entwickler können mithilfe der einheitlichen Sandbox API Befehle steuern, Screenshot erstellen, die Maus und Tastatur verwenden sowie den Zwischenablageinhalt verwalten – außerdem können sie die Driver in MCP-Klienten wie Claude Code, Cursor und Codex integrieren.

SDK und MCP sind lediglich Zugangspunkte zu den Funktionen – für die tatsächliche Nutzung müssen auf Ebene der Prozessgrenzen, Systemrechte, des Netzwerks sowie der Geschäftsprozesse zusätzliche Strategien eingeführt werden. Man sollte die Ablehnung von Anfragen in natürlicher Sprache durch das Modell nicht als einzige Sicherheitsmaßnahme betrachten.

Grundlegende Informationen

Empfehlungswert

Die Empfehlungsbewertung liegt bei 4,6 von 5 Punkten. Cua bietet eine umfassende Systemabdeckung, klare Open-Source-Kriterien und verbindet Sandbox-Umgebungen, Treiber sowie Bewertungsmethoden zu einem zusammenhängenden technischen Konzept.

Die Haupthindernisse sind die Komplexität der Virtualisierung und der Sicherheit, die nicht offengelegten Preise in der Cloud sowie die mangelnde Stabilität der Desktop-Proxy-Software selbst. Sie eignet sich für Entwicklungs- und Plattformteams, aber nicht für gewöhnliche Automatisierungsbenutzer ohne Fähigkeiten zur Isolierung und zum Auditing.

Häufige Fragen

Ist Cua kostenlos?

Öffentliche Open-Source-Frameworks können kostenlos genutzt werden, doch die Kosten für Hardware, Systemlizenzen, Modelle und Wartung müssen selbst getragen werden. Für Cloud-Dienste, dedizierte Flotten, BYOC sowie Datendienste wird ein Kostenvoranschlag erstellt.

Welche Betriebssysteme wird Cua unterstützen?

Es wird Linux, Windows, macOS und Android unterstützt. Je nach System werden Backend-Lösungen wie Docker, QEMU, Hyper-V oder Apple Virtualization verwendet.

Ist Cua ein Open-Source-Projekt?

Ja, der Hauptspeicher verwendet die MIT-Lizenz. Für Omni-Abhängigkeiten, OmniParser, Betriebssystem-Images sowie Cloud-basierte kommerzielle Dienste muss jeweils geprüft werden.

Kann man den aktuellen Computer steuern?

Der aktuelle Desktop kann über den Cua-Driver verbunden werden, doch das Risiko ist höher als in einer isolierten Sandbox. Es sollten der begrenzte Modus, minimale Berechtigungen sowie spezielle Testkonten verwendet werden.

Kann man macOS-Anwendungen im Hintergrund ausführen?

Der Driver ermöglicht es, Ereignisse an ein bestimmtes Fenster zu senden, ohne den Hauptzeiger zu bewegen – ideal für Hintergrundaufgaben. Die Kompatibilität hängt weiterhin von der Anwendung, der Systemversion und den Berechtigungen ab.

Wird MCP angeboten?

Verfügbar. MCP eignet sich dazu, Treiber mit Proxy-Klienten zu verbinden, die dieses Protokoll unterstützen; die Berechtigungsrichtlinien werden weiterhin lokal während des Betriebs durchgesetzt.

Müssen Daten in die Cloud hochgeladen werden?

Nicht unbedingt – im lokalen Modus kann die Anwendung auf dem eigenen Hardware-Setup laufen. Wenn Cua Cloud, Drittanbietermodelle oder gehostete Datendienste verwendet werden, ändert sich der Datenpfad.

Kann die Telemetrie ausgeschaltet werden?

Ja. Der Driver aktiviert standardmäßig die Telemetrie für Produkte ohne Inhalt. Der Benutzer kann diese Funktion deaktivieren, Ereignisse überprüfen und die anonyme Installationsidentifikation zurücksetzen.

Eignet es sich für die Produktionsautomatisierung?

Es kann als Infrastruktur dienen, doch zuerst müssen Isolierung, Berechtigungen, Rückfallprüfungen, manuelle Freigabe sowie Fehlerbehebung abgeschlossen werden. Eine Forschungs-Demo kann nicht direkt mit der Zuverlässigkeit in der Produktion gleichgesetzt werden.

Kann man Android-Apps installieren?

In Android-Image-Dateien können APKs installiert werden, wobei Klick-, Wisch- und Mehrfingergesten ausgeführt werden können. Die Installationsdateien müssen den Quellenkanal, die Signatur sowie die Sicherheit weiterhin überprüft werden.

Zusammenfassung

Cua bietet für Computer-Use-Agenten einen offenen Technologiestack, der von einzelnen lokalen Sandboxes bis hin zu parallelen Clustern über verschiedene Systeme reicht, und berücksichtigt dabei Tracking, Bewertung, Berechtigungen sowie verschiedene Zugangsmethoden.

Es wird empfohlen, zunächst in einer vorübergehenden Linux-Umgebung minimale Experimente durchzuführen, und anschließend je nach Aufgabe schrittweise persistente Images, Desktop-Treiber sowie Cloud-Cluster einzuführen; bei jeder Erweiterung der Funktionalitäten sollten die Berechtigungen entsprechend eingegrenzt und die Datengrenzen überprüft werden.