Cua

Une phrase pour présenter

Cua est une infrastructure open source destinée aux agents d’IA utilisant un ordinateur, qui permet aux modèles d’observer l’écran, de cliquer, de saisir des données, d’exécuter du code et d’enregistrer des trajectoires reproductibles dans des environnements isolés sous Linux, Windows, macOS ou Android.

Présentation des outils

Cua a été développé par Cua AI, Inc., et s’adresse aux équipes chargées du développement d’agents IA, de leur évaluation, de l’apprentissage renforcé et de la génération de données. Il propose à la fois une sandbox open source locale, ainsi que des clusters de machines dédiés pour le déploiement cloud, BYOC et local, sur demande.

Le produit n’est pas un robot de conversation destiné aux utilisateurs ordinaires, mais plutôt un ensemble d’outils de pilotage, de sandbox, de SDK, de virtualisation et de benchmarking. Les utilisateurs doivent comprendre Python, les machines virtuelles, les conteneurs, les privilèges des systèmes d’exploitation et la sécurité des proxies.

Composants clés

Fonction principale

Sandbox multi-systèmes d’exploitation

La même suite d’interfaces Sandbox et Image permet de créer des conteneurs Linux, des machines virtuelles Linux, des environnements macOS, Windows et Android. Ces environnements peuvent fonctionner sur des backends de virtualisation locaux tels que Docker, QEMU, Hyper-V ou Apple, ou être migrés vers Cua Cloud.

Écran et contrôle d’entrée

L’agent peut prendre des captures d’écran, lire l’état des fenêtres, déplacer la souris, cliquer, saisir au clavier, gérer le presse-papiers et exécuter des gestes pour appareils mobiles. En combinant les opérations GUI avec l’exécution de commandes, il est possible de remplacer les logiciels qui ne proposent qu’une interface graphique sans API fiable.

Pilote de bureau en arrière-plan

Cua Driver peut envoyer des entrées vers la fenêtre d’une application spécifique, en s’efforçant de ne pas prendre le contrôle du curseur, du focus ou de l’espace de bureau actuel de l’utilisateur. Il convient pour exécuter en même temps des tâches manuelles et des tâches d’agent sur l’appareil local, mais nécessite néanmoins une enregistrement d’écran, des fonctionnalités d’accessibilité ou des droits système appropriés.

Construction d’image

Une image est une description d’environnement immuable et configurable en chaîne, permettant d’installer des paquets système, des dépendances Python, des fichiers et des commandes d’initialisation. Il est également possible de créer des environnements personnalisés à partir d’images OCI, d’un disque local ou d’une ISO.

Modèles temporaire, permanent et de connexion

Les sandbox temporaires sont détruits à la fin de la tâche et conviennent aux CI et aux évaluations ponctuelles ; les sandbox persistants nommés peuvent conserver leur état entre processus ; le mode Connect ne se connecte qu’aux machines existantes et n’est pas responsable de leur création ou de leur suppression.

Sauvegardes et bifurcations

L’utilisateur peut enregistrer l’état du disque ayant subi une initialisation coûteuse sous forme d’image, puis démarrer en parallèle plusieurs branches de copie à l’écriture. Chaque branche dispose d’un disque écritible indépendant, sans modifier l’aperçu original ni les environnements frères.

Cluster de machines parallèles

Cua Fleets étend un environnement sandbox unique en un pool de machines préchauffées, permettant d’obtenir un environnement en quelques millisecondes et d’exécuter en parallèle des tâches d’évaluation, des tours d’apprentissage par renforcement ou de génération de données. Le site officiel propose actuellement des clusters dédiés sur demande.

Trajectoires et génération de données

Chaque observation et manipulation à l’écran peut être enregistrée sous forme de trajectoire réplayable, utilisée pour le débogage, l’évaluation et l’entraînement. L’éditeur propose également un service de livraison de données comprenant un évaluateur, des trajectoires d’or à examen manuel et des critères d’acceptation.

Politique de permissions

Cua Driver permet d’utiliser YAML ou Rego pour définir quels outils, applications, canaux de navigateur et répertoires le proxy peut appeler. Les politiques s’appliquent aux limites du fonctionnement natif sur l’appareil ; les appels via SDK, CLI, MCP ou sockets ne peuvent pas contourner les résultats de refus.

Système d’exploitation et exécution du backend

Premier tutoriel sur les sandbox locaux

1. Préparez un environnement Python et Docker pris en charge, et assurez-vous que les ressources de virtualisation sont suffisantes.
2. Installez le paquet Cua Python, puis importez Sandbox et Image dans le projet.
3. Choisir un conteneur Linux pour le premier test, afin d’éviter de contrôler directement l’ordinateur personnel.
4. Démarrer l’environnement avec un cycle de vie temporaire et exécuter d’abord des commandes d’information système inoffensives.
5. Tester la barre d’adresse, les captures d’écran et les entrées de souris, puis enregistrer les résultats dans un répertoire séparé.
6. Une fois la tâche terminée, il faut s’assurer que l’environnement temporaire a été détruit et qu’il n’y a plus de fichiers sensibles résiduels.
7. Lorsqu’il est nécessaire de réutiliser, créez des images ou des snapshots avec des noms clairs ; ne faites pas un usage abusif des sandbox persistants.

Installer et restreindre le pilote Cua

1. Installez la version stable du pilote sur des appareils macOS, Windows ou Linux pris en charge.
2. Exécuter des commandes de diagnostic pour vérifier le binaire, le répertoire d’installation, la télémétrie et les dépendances de la plateforme.
3. Accordez les droits d’observation de l’écran et de contrôle assisté selon les indications du système ; ne testez que sur un compte dédié.
4. Préférez les modes standard ou bounded, et n’utilisez pas par défaut un mode unrestricted.
5. Autoriser explicitement les captures d’écran, les requêtes de fenêtres et les outils d’entrée nécessaires à l’aide de YAML ou de Rego, tout en refusant le reste.
6. Après avoir démarré le service, connectez-vous à MCP ou SDK pour valider les limites avec une application non sensible.
7. Rejet de la stratégie de test, annulation de la session et sortie anormale, puis élargissement progressif des autorisations.

Workflow d’évaluation en batch

1. Définir la tâche, l’image de départ, les critères de succès, le délai d’expiration et les opérations interdites.
2. Forker plusieurs environnements indépendants à partir d’une capture d’écran unifiée, afin d’éviter que les différentes parties ne s’impactent mutuellement.
3. Fixer le modèle, les prompts, la graine aléatoire et la version du logiciel pour chaque agent.
4. Exécuter des tâches en parallèle et enregistrer l’écran, les actions, les commandes, les récompenses et les raisons d’échec.
5. Utiliser l’évaluateur automatique pour vérifier les résultats, puis sélectionner un échantillon à examiner manuellement.
6. Statistiques séparées pour les pannes environnementales, les erreurs de décision des agents et les mauvaises évaluations de l’évaluateur.
7. Lors de la publication des résultats, enregistrez la version de Cua, l’hash de l’image et la licence afin d’assurer la reproductibilité.

À qui s’adresse-t-il

• Chercheurs en agents d’IA : création de benchmarks d’utilisation informatique inter-systèmes et d’environnements d’apprentissage par renforcement.
• Équipe d’évaluation des modèles : exécution en parallèle de tâches reproductibles pour collecter les trajectoires et le taux de réussite.
• Développeur : Intégrer l’observation de l’écran, le contrôle des entrées et l’exécution des commandes à son propre proxy.
• Équipe de logiciels desktop : tester l’installation, les fichiers et les flux de travail GUI dans un environnement isolé.
• Équipe des données : Génération de données de trajectoires d’opérations évaluées automatiquement et vérifiées manuellement.
• Équipe de la plateforme d’IA d’entreprise : utilisation de BYOC ou d’un déploiement local pour créer des clusters de proxy de bureau contrôlés.

Scénarios d'utilisation typiques

• Vérifier si l’agent peut accomplir la même tâche avec différents thèmes, polices, langues et tailles d’écran.
• Laissez l’agent d’encodage installer des applications sur le bureau temporaire, exécuter des étapes GUI et enregistrer des captures d’écran.
• Évaluer en parallèle des tâches de navigateur, d’Office, de conception, de CAD ou de logiciels Windows anciens.
• Créer un environnement Android pour installer le paquet de test et exécuter des gestes de clic, de glissement et de plusieurs doigts.
• Contrôler les fenêtres d’applications spécifiques en arrière-plan sous macOS, sans déplacer le curseur actuel de l’utilisateur.
• Organiser les trajectoires de succès et d’échec en données de formation, de tests de régression ou d’audit comportemental.

Comparaison des modes d’accès

Le mode de permissions ne définit que les limites d’autonomie par défaut ; les politiques d’utilisateur et les politiques d’administrateur peuvent restreindre davantage ces limites, mais ne peuvent pas dépasser les plafonds intégrés. Les politiques sont chargées au démarrage du processus ; après modification, il est généralement nécessaire de redémarrer le système en cours d’exécution.

Prix et mode de déploiement

Jusqu’en août 2026, Cua ne dispose d’aucun tableau de prix en ligne publié, par heure, par machine ou par poste. Les Sandbox, Driver, Bench et Lume locaux sont disponibles sur GitHub ; les Fleets dédiés, l’hébergement, le BYOC ainsi que le déploiement local nécessitent une demande pour un devis personnalisé.

Le fait que ce soit open source et gratuit ne signifie pas qu’il n’y a aucun coût de fonctionnement. Les licences Windows et macOS, l’équipement cloud, le stockage, l’appel des modèles, l’annotation manuelle et les opérations de sécurité peuvent tous représenter des postes budgétaires importants.

Sécurité et confidentialité

• Un agent d’utilisation informatique peut voir l’écran, saisir du texte, lire le presse-papiers et manipuler les applications, avec des droits équivalents à une puissante capacité de contrôle à distance.
• Privilégiez l’utilisation de sandbox temporaires, de comptes de test, de données simulées et de identifiants à court terme, et évitez de vous connecter directement à votre poste de travail personnel.
• Par défaut, le pilote Cua envoie une télémétrie de produit sans contenu ; il est possible de l’arrêter par commande et de vérifier les événements fixes qui seront envoyés.
• Lorsque la télémétrie est désactivée, l’identifiant d’installation anonyme est conservé ; en réinitialisant l’identifiant, cet ID ainsi que les marques d’événement sont supprimés.
• La politique de confidentialité officielle indique que les fonctionnalités d’IA peuvent transmettre des entrées, des sorties et des informations personnelles à des fournisseurs d’IA tiers, y compris OpenAI.
• Les informations personnelles sont conservées dans la mesure nécessaire à l’exécution des finalités du service et aux exigences légales, sans engagement de durée fixe uniforme.
• Le site officiel indique les certifications SOC 2 Type I, BYOC et capacités On-prem ; l’entreprise doit néanmoins demander la portée de l’audit actuel ainsi que les annexes du contrat.
• Avant d’installer des images tierces, des APK et des outils de proxy, il convient de vérifier la source, l’hash, la licence et la présence de comportements malveillants.

Logiciels libres et licences

Le dépôt principal de trycua/cua est soumis à la licence MIT, qui autorise l’utilisation, la modification, la distribution et la commercialisation, mais exige que les droits d’auteur ainsi que la mention de licence soient conservés. Le logiciel est fourni tel quel, sans aucune garantie de vendabilité ou d’adaptation à un usage particulier.

Exigences techniques

Avantages du produit

• Un ensemble d’interfaces couvrant Linux, Windows, macOS et Android, permettant de reproduire des expériences entre plateformes.
• Placer l’exécution du code et le contrôle GUI dans la même sandbox convient aux tâches de bureau réelles.
• Les environnements temporaires, les snapshots et les branches réduisent la contamination mutuelle des tâches ainsi que les coûts d’initialisation répétée.
• Les SDK open source, les pilotes, la virtualisation et les outils de benchmarking facilitent l’audit et l’extension.
• La politique de permissions est appliquée de manière uniforme dans les limites du runtime natif, couvrant divers modes d’accès.
• On peut passer progressivement d’un développement local à des solutions cloud, BYOC et des clusters parallèles dédiés.

Restrictions d'utilisation et précautions

• Le proxy desktop est sensible aux changements d’interface, aux retards, aux polices, aux langues et aux fenêtres contextuelles ; le taux de réussite ne peut être mesuré qu’une seule fois.
• Certaines fonctionnalités gérées en arrière-plan dépendent des mécanismes internes du système d’exploitation ou des fonctionnalités d’accessibilité, ce qui peut entraîner des problèmes de compatibilité après mise à jour.
• La virtualisation multi-systèmes locale nécessite des ressources matérielles importantes, et macOS et Windows présentent également des contraintes liées aux licences.
• Il n’existe pas de prix standards publics pour les clusters cloud et dédiés ; le budget du projet doit être discuté séparément.
• Bien que le dépôt principal soit MIT, les modèles, analyseurs, images et applications disponibles sont chacun soumis à leur propre licence.
• Une configuration stratégique incorrecte peut libérer accidentellement des fichiers, des terminaux, le presse-papiers ou le navigateur connecté.
• Les trajectoires peuvent contenir des informations personnelles, des clés et des données clients sur l’écran ; elles doivent être chiffrées, minimisées et disposer d’une date de suppression.
• Une confirmation manuelle est requise avant d’exécuter des actions de suppression, d’achat, d’envoi de messages ou de publication en ligne.

API, SDK et MCP

Cua fournit un SDK Python, une interface CLI, un serveur MCP et des interfaces de pilote locales. Les développeurs peuvent utiliser une API Sandbox unifiée pour contrôler les commandes, prendre des captures d’écran, gérer la souris, le clavier, le presse-papiers ainsi que les gestes de mouvement, et intégrer le pilote dans des clients MCP tels que Claude Code, Cursor, Codex, etc.

Les SDK et MCP ne sont que des points d’accès aux fonctionnalités ; pour une utilisation en production, il est nécessaire d’ajouter des politiques au niveau des limites de processus, des droits système, du réseau et des opérations métier. Ne considérez pas le rejet par langage naturel du modèle comme le seul contrôle de sécurité.

Informations de base

Indice de recommandation

Le score de recommandation est de 4,6 sur 5. Cua couvre un large éventail de systèmes, présente des frontières claires en matière de logiciel open source, et relie le sandbox, les pilotes, l’évaluation et les clusters à grande échelle en une chaîne technique cohérente.

Les principaux obstacles sont la complexité de la virtualisation et de la sécurité, le manque de transparence sur les prix dans le cloud, ainsi que l’instabilité du proxy client lui-même. Il convient aux équipes de développement et aux plateformes, mais pas aux utilisateurs d’automatisation ordinaires qui ne disposent pas de capacités d’isolation et d’audit.

Questions fréquentes

Cua est-il gratuit ?

Les frameworks open source locaux peuvent être utilisés gratuitement, mais vous devez assumer vous-même les coûts du matériel, des licences système, des modèles et de la maintenance. Les services cloud, Fleets dédiés, BYOC et services de données sont soumis à une demande de prix.

Quels systèmes d’exploitation Cua prend-il en charge ?

Prend en charge Linux, Windows, macOS et Android. Les différents systèmes utilisent des backends tels que Docker, QEMU, Hyper-V ou l’virtualisation d’Apple.

Cua est-il un projet open source ?

Oui, le dépôt principal utilise la licence MIT. Les dépendances Omni optionnelles, OmniParser, les images d’exploitation et les services commerciaux cloud doivent être évalués séparément.

Peut-on contrôler l’ordinateur actuel ?

Il est possible de se connecter à l’écran de travail actuel via le pilote Cua, mais le risque est plus élevé que dans un sandbox isolé. Il convient d’utiliser le mode borné, des droits minimaux et des comptes de test dédiés.

Est-il possible d’effectuer des opérations en arrière-plan sur les applications macOS ?

Driver permet d’envoyer des événements vers une fenêtre spécifique sans déplacer le curseur principal, ce qui est idéal pour les opérations en arrière-plan. La compatibilité dépend toujours de l’application, de la version du système et des permissions.

Est-ce que MCP est fourni ?

Fourni. MCP permet de connecter les pilotes à des clients proxy prenant en charge ce protocole, et la politique de droits est toujours appliquée localement en temps réel.

Faut-il télécharger des données dans le cloud ?

Pas nécessairement, le mode local peut fonctionner sur son propre matériel. Lors de l’utilisation de Cua Cloud, de modèles tiers ou de services de données hébergés, le chemin des données change.

La télémétrie peut-elle être désactivée ?

Oui. Le pilote active par défaut la télémétrie des produits sans contenu ; l’utilisateur peut la désactiver, vérifier les événements et réinitialiser l’identifiant d’installation anonyme.

Est-ce adapté à l’automatisation de la production ?

Il peut servir d’infrastructure, mais il est nécessaire de terminer d’abord l’isolement, les permissions, les tests de régression, l’approbation manuelle et la récupération en cas de panne. On ne peut pas assimiler directement une démo de recherche à la fiabilité en production.

Est-il possible d’installer des applications Android ?

Il est possible d’installer des APK dans l’image Android et d’exécuter des gestes de clic, de glissement et multi-doigts. Le paquet d’installation doit néanmoins être vérifié pour ce qui est du canal, de la signature et de la sécurité.

Résumé

Cua fournit à l’agent Computer-Use une pile technologique ouverte allant d’une sandbox locale unique à des clusters parallèles inter-systèmes, tout en prenant en compte le suivi des trajectoires, l’évaluation, les permissions et divers modes d’accès.

Il est recommandé de commencer par effectuer des expériences minimales dans un environnement Linux temporaire, puis d’introduire progressivement des images persistantes, des pilotes de bureau et des clusters cloud en fonction des tâches ; à chaque étape où les capacités s’élargissent, il convient de resserrer simultanément les permissions et de vérifier les limites des données.