AI Test Automation Platform for Enterprise

Qu’est-ce que le QA virtuose ?

Virtuoso QA est une plateforme d’automatisation des tests nativement basée sur l’IA, conçue pour les entreprises par SpotQA. Elle permet aux testeurs de créer des tests exécutables en langage naturel, et réduit les coûts de maintenance grâce à la reconnaissance intelligente des objets, à la capacité d’autoréparation, à l’exécution en parallèle dans le cloud et à des rapports d’analyse.

Une phrase pour présenter

Virtuoso QA est adapté aux équipes d’entreprise ayant besoin de tests de régression à grande échelle sur le Web, les API et du bout en bout, en particulier pour les projets présentant des coûts de maintenance élevés, des publications fréquentes ou nécessitant des preuves d’audit.

Fonctionnalités clés

• Écrire les étapes de test automatisé en langage naturel.
• Exécution et vérification en temps réel pendant l’écriture.
• Identifier les objets de la page grâce à l’IA et corriger automatiquement le positionnement.
• Intégrez les vérifications de l’UI, de l’API et de la base de données dans le même parcours.
• Fonctionne sur Chrome, Edge, Firefox et Safari.
• Accélérer les tests de régression grâce à l’exécution en parallèle dans le cloud.
• Générer des captures d’écran, des vidéos, des journaux et une analyse des causes racines.
• Connecte les outils CI/CD, de gestion des défauts et de gestion des tests.

Rédaction de tests en langage naturel

• Décrire les actions de l’utilisateur à l’aide de étapes proches du langage métier.
• Réduire la nécessité d’écrire directement des scripts Selenium.
• Faire participer les testeurs manuels et les analystes métier à l’automatisation.
• Prend en charge les actions telles que la sélection, la saisie, le clic, la validation et la navigation.
• Les objets complexes peuvent toujours utiliser les suggestions de sélecteur et les extensions.
• La clarté du langage naturel influence les résultats de l’exécution.

Écriture en temps réel

• L’ajout d’une étape s’exécute immédiatement dans l’application cible.
• Détecter rapidement les incohérences dans les noms d’objets ou les données.
• Réduire le processus itératif de rédaction complète du script avant débogage.
• Voir en temps réel les retours d’exécution pour chaque étape.
• Une réponse lente de l’application augmente le temps d’attente lors de l’écriture.
• Dans un environnement réel, les opérations à effets secondaires doivent être isolées avec prudence.

Reconnaissance d’objets intelligents

• Positionner les éléments en combinant DOM, sélecteurs, identifiants et attributs.
• Rechercher le contrôle cible en suivant les indications du langage naturel.
• Réduire la dépendance envers les XPath vulnérables.
• Prend en charge la reconnaissance d’objets dans les pages dynamiques.
• Les boutons de similitude et les étiquettes de répétition peuvent entraîner des choix erronés.
• Les opérations clés doivent faire appel à des indications et des affirmations claires.

Test de réparation autonome

• Recherche automatique d’un objet de remplacement après modification de l’UI.
• Réduire les travaux de maintenance dus aux changements de localiseurs.
• Permettre aux modules composables de s’adapter aux mises à niveau des applications classiques.
• Les autorités affirment que les taux de précision pour la reconnaissance d’objets et l’autoréparation atteignent environ 95 %.
• La réparation automatique peut masquer des changements du produit qui auraient dû être signalés.
• Les processus à haut risque doivent examiner chaque enregistrement de correction automatique.

Génération de tests d’IA

• Générer des scénarios à partir des besoins, des histoires d’utilisateurs ou du processus d’enregistrement.
• Création automatique d’étapes de test et d’assertions.
• Transformer les cas de test manuel en ensemble de tests de régression.
• Aider à migrer les actifs Selenium, Tosca et TestComplete.
• Le résultat généré doit toujours couvrir les limites métier et les chemins d’exception.
• La génération de tests par agents fait partie des extensions payantes.

Test de fonctionnalités web

• Couvre les formulaires, la navigation, la recherche et les processus de transaction.
• Prend en charge le passage entre plusieurs onglets et des cadres.
• Gérer les structures Web modernes telles que le Shadow DOM.
• Utilisez une attente intelligente pour le chargement dynamique.
• Adapté aux applications SaaS, financières, de détail et d’entreprise.
• L’accent officiel est actuellement mis sur les applications navigateur plutôt que sur les applications mobiles natives.

Test d’API

• Appeler l’API au cours du parcours bout en bout.
• Vérifier l’état de la réponse, les champs et les données métier.
• Transmettre les résultats de l’API aux étapes UI suivantes.
• Réduire les blocages des tests en cas d’indisponibilité du front-end.
• La couche d’interface utilisateur et de services combine les vérifications pour localiser la panne.
• Les clés et les tokens doivent être gérés à l’aide de variables sécurisées.

Vérification de la base de données

• Ajouter des vérifications de base de données au cours du même voyage.
• Vérifier que les opérations frontales sont correctement écrites en arrière-plan.
• Vérification bout en bout des champs clés et des états.
• Les comptes de base de données ne devraient recevoir que des droits de consultation.
• Évitez d’exécuter des requêtes à forte charge ou inconditionnelles.
• Les tests de données de production nécessitent un masquage et une approbation.

Tests visuels et multi-navigateurs

• Exécuter le même parcours dans différents navigateurs modernes.
• Détecter les différences de mise en page, de style et de rendu.
• Vérifier l’expérience utilisateur en combinant les assertions fonctionnelles.
• Prise en charge de Chrome, Edge, Firefox et Safari.
• Les polices, les animations et le contenu dynamique peuvent provoquer du bruit visuel.
• La matrice de couverture du navigateur doit être choisie en fonction des données réelles des utilisateurs.

Exécution dans le cloud et en parallèle

• La consommation se déploie automatiquement dans le cloud en fonction de la demande.
• Capacity offre de 5 à 100 canaux d’exécution en parallèle.
• Le pic de publication peut augmenter la capacité parallèle temporaire.
• Les grands kits de régression peuvent être exécutés en parallèle.
• Les tests en parallèle nécessitent d’isoler les comptes, les données et l’environnement.
• Le débit reste influencé par la durée d’un seul trajet et par les performances du système cible.

Rapport et analyse des causes racines

• Fournit des tableaux de bord en temps réel et des tendances d’exécution.
• Conserver des captures d’écran par étape et des preuves de l’exécution.
• Échec de l’intégration du réseau, des API, de l’UI et de l’analyse des journaux.
• Aider à localiser la cause du problème en langue naturelle.
• Conserver des informations de suivi pour l’audit et l’approbation de publication.
• Les recommandations relatives aux causes racines doivent être confirmées par des ingénieurs en fonction du système réel.

Tests combinables

Composable Test Automation transforme les processus métier courants en modules réutilisables, permettant aux équipes de construire des parcours bout en bout comme s’ils s’agissait de blocs de construction. Le site officiel liste des ressources prédéfinies pour Dynamics 365, Salesforce, SAP, Oracle Cloud et Workday.

• Réutiliser des processus stables tels que la connexion, la création de client et la commande.
• Combiner les mêmes modules dans plusieurs projets et environnements.
• Réduire la création répétée de tests pour les applications d’entreprise standard.
• Prend en charge plusieurs instances pour Dev, Test, UAT et Prod.
• Les applications personnalisées peuvent créer leur propre bibliothèque d’actifs.
• Les modifications de module nécessitent un contrôle de version et une analyse des impacts.

CI/CD et intégration

• Connecter GitHub et GitHub Actions.
• Prend en charge Azure DevOps, Jenkins et GitLab.
• Intégrable avec des systèmes de gestion des défauts tels que Jira.
• Démarrer des tests après soumission, demande de pull ou déploiement.
• Accéder aux fonctionnalités de la plateforme via API et Webhook.
• Pour les échecs de contrôle d’accès, il faut distinguer les défauts du produit de l’instabilité des tests.

Guide d’utilisation de Virtuoso QA

Créer le premier test en langage naturel

1. Créer un projet et configurer l’adresse de l’application cible.
2. Créer des Objectifs et des Parcours représentant les processus métier.
3. Ajoutez les étapes de l’opération en langue claire et naturelle.
4. Exécuter chaque étape en temps réel grâce à l’écriture en direct.
5. Ajouter des assertions de résultats, de texte et d’état.
6. Répéter l’exécution en utilisant des données de test indépendantes.
7. Ajouter le jeu de régression après avoir examiné les preuves.

Créer un parcours combinant UI et API

1. Déterminer les résultats métier bout en bout et les limites des tests.
2. Créez d’abord les données préliminaires à l’aide de l’API.
3. Effectuer les opérations de l’utilisateur dans l’UI.
4. Appeler une API ou une base de données pour valider l’état en arrière-plan.
5. Nettoyer les données de test et restaurer l’environnement.
6. Enregistrer les réponses et les captures d’écran pour les étapes échouées.
7. Exécuter en parallèle dans plusieurs navigateurs.

Accès à CI/CD

1. Sélectionnez des tests de fumée clés et stables.
2. Créer des identifiants d’accès à la plateforme avec les privilèges minimaux.
3. Configurer les variables de sécurité dans l’outil CI.
4. Définir les conditions de déclenchement après soumission ou déploiement.
5. Définir les délais de timeout, les tentatives de réessai et les seuils d’échec.
6. Relier le rapport aux résultats de la construction.
7. Analyser régulièrement les tests instables et corriger les causes racines.

À qui s’adresse-t-il

• Équipe d’applications web d’entreprise qui publie fréquemment.
• Organisation de QA chargée de la maintenance d’un grand nombre de tests de régression.
• Personnes souhaitant participer aux tests manuels automatisés.
• Équipes financières, d’assurance et médicales nécessitant des preuves d’audit.
• Organisations qui migrent vers Selenium ou des suites de tests d’entreprise traditionnelles.
• Équipes testant Dynamics 365, SAP ou Salesforce.
• Équipes d’ingénierie ayant besoin d’un parcours unifié pour l’UI, les API et la base de données.

Scénarios d’application typiques

• Des tests de régression clés s’exécutent automatiquement à chaque publication.
• Vérifier les processus de commandes et de clients entre systèmes.
• Tester la mise à niveau de la version d’une application cloud d’entreprise.
• Transformer rapidement des cas manuels en itinéraires exécutables.
• Migrer les anciens tests Selenium vers une plateforme nativement basée sur l’IA.
• Valider l’expérience utilisateur clé entre navigateurs.
• Conserver des preuves de tests traçables pour une publication conforme.

Quand cela ne convient pas vraiment

• Il s’agit principalement de tester des applications natives iOS ou Android.
• Projet personnel nécessitant seulement un petit nombre de tests unitaires simples.
• Les organisations qui ne peuvent pas utiliser la plateforme de test cloud.
• Le budget n’est pas suffisant pour recruter une équipe capable de mettre en œuvre des solutions sur mesure pour l’entreprise.
• Espérer l’élimination complète de la conception et de l’examen par des tests manuels.
• Il est exigé que le code source complet de la plateforme soit hébergé par soi-même.

Modèle de facturation

Le site officiel de Virtuoso QA propose actuellement deux modèles d’abonnement : Consumption et Capacity. Dans les deux cas, il est nécessaire de soumettre une demande pour obtenir un devis personnalisé. La facturation se base principalement sur le nombre d’utilisateurs chargés de rédiger les tests et sur la capacité d’exécution, sans être calculée directement en fonction du nombre de cas de test créés.

Comment choisir entre les deux modèles

Extensions payantes optionnelles

• La génération de tests agents est facturée en fonction de l’application et du volume de tests.
• La gestion automatique des tests composables est facturée en fonction de l’application et de la bibliothèque d’actifs.
• La configuration rapide et la création de cas de test peuvent servir à améliorer les services.
• L’aide à l’introduction et à la migration pour plusieurs applications peut être facturée séparément.
• La gouvernance d’entreprise, les architectes techniques et les SLA avancés font partie des éléments à mettre à niveau.
• La proposition d’achat doit préciser les limites de la plateforme de base et des extensions.

Essai gratuit et vérification

• Le site officiel propose une période d’essai gratuite de deux semaines.
• Des démonstrations interactives sans nécessité de mettre en œuvre un environnement complet sont également disponibles.
• Les entreprises peuvent demander une validation Proof of Value.
• L’essai doit couvrir les applications réelles et les parcours métier clés.
• Enregistrez en même temps la vitesse d’écriture, le temps de maintenance et la stabilité d’exécution.
• Vérifiez comment les données et les actifs de test seront gérés avant la fin de la période d’essai.

Contrat et sortie

• La durée standard du contrat est de 12 mois.
• Un contrat à long terme peut bénéficier d’avantages en termes de durée ou de capacité.
• L’augmentation des utilisateurs et de la capacité peut s’effectuer par une expansion préstructurée.
• Lors de la sortie, les responsables ont déclaré qu’ils pouvaient aider à exporter les actifs de test.
• Le format d’exportation et la faisabilité de la migration doivent être testés avant l’achat.
• Les conditions de remboursement, de résiliation anticipée et de dégradation sont déterminées par le contrat.

Comment évaluer le coût total

• Compter le nombre d’utilisateurs en mode écriture et de lecteurs en mode lecture seule.
• Estimer le nombre d’exécutions par jour et la capacité de parallélisme maximale.
• Distinguer la fumée, le retour et la matrice multi-navigateurs.
• Coûts d’extension pour Agentic ou Composable.
• Calculer les investissements en migration, formation et gouvernance des données de test.
• Évaluer le retour sur investissement en fonction de la réduction du temps de maintenance et des cycles de publication.
• Évitez de comparer les différentes plateformes uniquement en fonction du nombre de tests.

Sécurité et déploiement

Virtuoso QA gère des SaaS hébergés par AWS et propose Secure Bridge pour effectuer des tests au sein d’un réseau privé. Selon les informations officielles, il est certifié SOC 2 Type II et prend en charge l’accès par rôle, le traitement chiffré des données, les journaux d’audit et la configuration de réseaux sécurisés.

• Demander le rapport SOC le plus récent et la portée d’application avant l’achat.
• Utiliser SAML SSO pour se connecter au système d’identité de l’entreprise.
• Définir des droits minimums pour les projets, l’environnement et les utilisateurs.
• Les applications internes sensibles sont évaluées pour leurs connexions via Secure Bridge.
• Les clés et les données de test utilisent des variables sécurisées.
• Vérifier régulièrement les journaux, les membres et les intégrations externes.

Données de test et vie privée

• Utiliser des données de test synthétiques ou masquées.
• Ne mettez pas le mot de passe réel dans les étapes en langage naturel.
• Attribuer des comptes indépendants pour différents tests en parallèle.
• Après l’exécution, nettoyez les commandes, les utilisateurs et les autres enregistrements de test.
• Les captures d’écran et les vidéos peuvent recueillir des informations personnelles ou confidentielles.
• Définir les délais de conservation et d’accès aux preuves.
• Les projets réglementés doivent examiner le traitement transfrontalier et les sous-traitants.

IA et risques d’autoréparation

• L’IA pourrait choisir des contrôles visuellement similaires mais ayant des significations différentes.
• La réparation automatique peut permettre à un processus défectueux de continuer à s’exécuter.
• Les assertions générées automatiquement peuvent ne pas suffire à détecter les défauts métier.
• L’analyse des causes racines peut n’être qu’une inférence de corrélation.
• Les processus à haut risque nécessitent une révision manuelle des enregistrements de modification.
• La performance du modèle doit être validée à long terme par l’application développée par l’équipe elle-même.

Bordures de test automatisé

• L’automatisation convient aux processus répétitifs et aux résultats clairs.
• Les tests exploratoires nécessitent encore l’observation et le jugement humain.
• L’accessibilité et l’expérience émotionnelle ne peuvent être vérifiées uniquement à l’aide de scripts.
• Les CAPTCHA et l’authentification à deux facteurs nécessitent des stratégies de test spécifiques.
• La dépendance à des tiers peut entraîner des échecs dus à des raisons non liées au produit.
• Un test réussi ne signifie pas que le système n’a pas d’autres défauts.

Avantages du produit

• L’écriture en langage naturel abaisse le seuil d’automatisation.
• Live Authoring offre une validation en temps réel.
• La reconnaissance d’objets intelligents et l’autoréparation réduisent la maintenance.
• La validation de l’UI, de l’API et de la base de données peut être organisée de manière unifiée.
• Prend en charge l’exécution simultanée entre navigateurs et dans le cloud.
• Les rapports, les preuves et l’analyse des causes racines sont adaptés à la gouvernance d’entreprise.
• Une bibliothèque d’actifs composables pour les applications d’entreprise.
• Prend en charge CI/CD, API, Webhook et Secure Bridge.

Restrictions sur les produits

• Le site officiel ne divulgue pas de prix fixe.
• La durée standard du contrat est de 12 mois.
• Les fonctionnalités Agentic et Composable peuvent être facturées en supplément.
• Il couvre principalement le Web et les API, plutôt que les applications mobiles natives.
• Les scénarios complexes exigent encore des sélecteurs, des extensions et des compétences en ingénierie.
• La réparation automatique par l’IA peut masquer les véritables changements.
• Migrer de grands kits anciens nécessite des investissements.
• L’exécution dans le cloud et les preuves entraînent des exigences en matière de gouvernance des données.
• La plateforme n’est pas un framework open source à déployer soi-même.

API et extensions

Virtuoso propose une API de plateforme, des Webhook et des bibliothèques d’extensions linguistiques, qui peuvent être utilisés pour déclencher des exécutions, intégrer des outils et compléter les opérations non couvertes par le langage naturel. Les droits d’accès spécifiques à l’API, les limites de flux et la portée du support des extensions dépendent de l’abonnement et de la documentation officielle.

GitHub et l’état open source

Virtuoso peut être intégré à GitHub et GitHub Actions, mais cela ne signifie pas que le produit lui-même est open source. Aucun dépôt de code source complet de la plateforme Virtuoso pouvant être vérifié sur le site officiel de SpotQA n’a été trouvé ; il convient donc de le classer comme un SaaS d’entreprise propriétaire.

Informations de base

Indice de recommandation

Note de recommandation : 4,6 / 5. Virtuoso QA offre une rédaction en langage naturel, des capacités d’autoréparation, de parcours combinés et de gouvernance d’entreprise complètes, ce qui en fait un outil adapté aux tests de régression Web à grande échelle ; cependant, le prix sur mesure, les contrats annuels, les frais d’extension ainsi que l’absence de tests mobiles natifs nécessitent une vérification avant achat.

Questions fréquentes

Un QA virtuose doit-il écrire du code ?

Les tests de base peuvent être créés en langage naturel, tandis que les objets complexes et la logique spéciale peuvent nécessiter des sélecteurs ou des extensions.

Combien coûte Virtuoso QA ?

Le site officiel ne divulgue pas de prix fixe ; la consommation et la capacité doivent faire l’objet d’une demande de prix en fonction de l’utilisateur et de la capacité d’exécution.

Y a-t-il une version d’essai gratuite ?

Oui, le site officiel propose une période d’essai gratuite de deux semaines, une démonstration interactive et un Proof of Value pour les entreprises.

Quels navigateurs sont pris en charge ?

Prend en charge les navigateurs modernes tels que Chrome, Edge, Firefox et Safari.

Prendre en charge les tests API ?

Oui, il est possible d’intégrer les appels API, les opérations UI et la validation de la base de données dans le même parcours bout en bout.

Prend-il en charge les applications mobiles natives ?

L’accent officiel actuel est mis sur les tests de navigateurs et d’API, sans que les tests mobiles natifs ne soient considérés comme une compétence essentielle.

Peut-on l’intégrer à CI/CD ?

Oui, il prend en charge des outils tels que GitHub, Azure DevOps, Jenkins, GitLab, etc.

Les tests se corrigeront-ils automatiquement ?

Il peut s’adapter automatiquement aux changements des objets courants, mais les enregistrements de correction des processus clés doivent néanmoins être examinés.

Est-il possible d’exporter les actifs de test ?

Le site officiel indique qu’une assistance peut être fournie pour exporter des données dans divers formats lors de la sortie, mais la compatibilité réelle doit être vérifiée avant la signature du contrat.

Virtuoso QA est-il open source ?

Pas de code source ouvert : l’intégration avec GitHub ne signifie pas que le code source de la plateforme est accessible.