AI Test Automation Platform for Enterprise

Was ist Virtuoso QA?

Virtuoso QA ist eine unternehmensgerechte, auf KI basierende Plattform für die Automatisierung von Tests, die von SpotQA entwickelt wurde. Sie ermöglicht es den Testern, mit natürlicher Sprache ausführbare Tests zu erstellen. Zudem senkt sie die Wartungskosten durch intelligente Objekterkennung, Selbstreparaturfunktionen, parallele Ausführung in der Cloud sowie detaillierte Analyseberichte.

Eine kurze Beschreibung

Virtuoso QA eignet sich für Unternehmensteams, die umfangreiche Rückgabetests für Web-Anwendungen, APIs sowie End-to-End-Tests durchführen müssen – insbesondere für Projekte mit hohen Wartungskosten, häufigen Veröffentlichungen oder bei denen Auditnachweise erforderlich sind.

Kernfunktionen

• Schreiben Sie die Schritte für automatisierte Tests in natürlicher Sprache.
• Während der Erstellung wird es in Echtzeit ausgeführt und überprüft.
• Durch KI werden Seitenobjekte erkannt und die Positionierung automatisch korrigiert.
• Bringen Sie die Überprüfung der UI, API und Datenbanken in denselben Prozess.
• Funktioniert in Chrome, Edge, Firefox und Safari.
• Schnellere Durchführung von Regressionstests durch parallele Ausführung in der Cloud.
• Erstellung von Screenshoten, Videos, Protokollen und Ursachenanalysen.
• Verbindet CI/CD-, Defektmangement- und Testmanagement-Tools.

Erstellung von Tests für natürliche Sprache

• Beschreiben Sie die Benutzeraktionen in Schritten, die der Fachsprache nahekommen.
• Reduzierung der Notwendigkeit, Selenium-Skripte direkt zu schreiben.
• Lassen Sie Testpersonal und Business Analysts an der Automatisierung mitwirken.
• Unterstützt Aktionen wie Auswahl, Eingabe, Klicken, Überprüfung und Navigation.
• Komplexe Objekte können weiterhin mit Selektorenhinweisen und Erweiterungen verwendet werden.
• Die Klarheit der natürlichen Sprache beeinflusst die Ergebnisse der Ausführung.

Live Authoring – Echtzeit-Verfassen

• Die Schritte werden sofort in der Zielanwendung ausgeführt.
• Schnelle Erkennung von Namens- oder Datenunstimmigkeiten.
• Verringerung des wiederholten Prozesses, zuerst den gesamten Script zu schreiben und anschließend zu debuggen.
• Sehen Sie in Echtzeit die Rückmeldungen zum Ablauf jeder Schritt.
• Eine langsame Anwendungsreaktion verlängert die Wartezeit beim Schreiben.
• Nebenwirkungen in der realen Umgebung müssen sorgfältig isoliert werden.

Intelligente Objekterkennung

• Elemente durch Kombination von DOM, Selektoren, Identifikatoren und Attributen lokalisieren.
• Suchen Sie nach dem Zielkontrollkästchen unter Verwendung von Hinweisen in der natürlichen Sprache.
• Verringerung der Abhängigkeit von anfälligen XPath-Expressionen.
• Unterstützung der Objekterkennung in dynamischen Seiten.
• Ähnliche Schaltflächen und wiederholte Beschriftungen können zu falschen Auswahlentscheidungen führen.
• Kritische Operationen sollten mit klaren Hinweisen und Aussagen durchgeführt werden.

Selbstheilungstest

• Nach einer Änderung der Benutzeroberfläche werden automatisch Ersatzobjekte gesucht.
• Verringerung der Wartungsarbeiten durch Änderungen am Positionierer.
• Lassen Sie die kombinierbaren Module an Upgrades für herkömmliche Anwendungen angepasst werden.
• Offiziell wird angegeben, dass die Genauigkeit bei der Objekterkennung und Selbstreparatur bei etwa 95 % liegt.
• Selbstheilung kann Änderungen am Produkt, die gemeldet werden sollten, verbergen.
• Bei hochriskanten Prozessen sollten alle Aufzeichnungen automatischer Reparaturen überprüft werden.

KI-Testgenerierung

• Szenarien werden aus Anforderungen, Benutzergeschichten oder Aufnahmeprozessen erzeugt.
• Automatische Erstellung von Testschritten und Aussagen.
• Manuelle Testfälle in Regressionssätze umwandeln.
• Hilfsweise Migration der Selenium-, Tosca- und TestComplete-Ressourcen.
• Die erzeugten Ergebnisse müssen weiterhin die Geschäftsgrenzen sowie abweichende Ablaufwege abdecken.
• Agentic Test Generation gehört zu den kostenpflichtigen Erweiterungen.

Web-Funktionsprüfung

• Abdeckt Formulare, Navigation, Suchfunktionen und Transaktionsabläufe.
• Unterstützung für mehrere Tab-Seiten und Frame-Wechsel.
• Umgang mit modernen Web-Strukturen wie Shadow DOM.
• Verwenden Sie intelligente Wartezeiten für die dynamische Laden.
• Eignet sich für SaaS-, Finanz-, Einzelhandels- und Unternehmensanwendungen.
• Der aktuelle Fokus der Behörden liegt auf Browser-Apps statt auf nativen mobilen Apps.

API-Testen

• APIs werden im End-to-End-Prozess aufgerufen.
• Überprüfen Sie den Status der Antwort, die Felder sowie die Geschäftsdaten.
• Übergeben Sie die API-Ergebnisse an die folgenden UI-Schritte.
• Verringerung der Testblockaden bei Unverfügbarkeit der Frontend.
• Die Kombination aus UI und Service-Schicht dient zur Fehlerortung.
• Schlüssel und Token sollten mit sicheren Variablen verwaltet werden.

Datenbankvalidierung

• Fügen Sie bei derselben Reise eine Datenbankprüfung hinzu.
• Überprüfen, ob die Vorderendoperationen korrekt in den Hintergrund geschrieben werden.
• Es wird eine End-zu-End-Überprüfung der Schlüsselfelder und -zustände durchgeführt.
• Datenbankkonten sollten nur Leserechte haben.
• Vermeiden Sie das Ausführen von Abfragen mit hoher Last oder bedingungslosen Abfragen.
• Die Prüfung der Produktionsdaten erfordert Maskierung und Freigabe.

Visuelle und cross-Browser-Tests

• Dasselbe Prozess in verschiedenen modernen Browsern ausführen.
• Unterschiede in der Anordnung, dem Stil und der Darstellung werden festgestellt.
• Überprüfen Sie die Benutzererfahrung in Kombination mit Funktionsassertionen.
• Unterstützt Chrome, Edge, Firefox und Safari.
• Schriftarten, Animationen und dynamische Inhalte können visuellen Lärm verursachen.
• Die Browser-Cover-Matrix sollte anhand echter Benutzerdaten ausgewählt werden.

Cloud und parallele Ausführung

• Die Verarbeitung wird je nach Bedarf automatisch in der Cloud erweitert.
• Capacity bietet 5 bis 100 parallele Ausführungskanäle.
• Die Peak-Zeiten können die vorübergehende parallele Kapazität erhöhen.
• Große Regressionssätze können gleichzeitig ausgeführt werden.
• Für parallele Tests sind getrennte Konten, Daten und Umgebungen erforderlich.
• Die Durchsatzrate wird weiterhin durch die Dauer einer einzelnen Reise sowie die Leistung des Zielsystems beeinflusst.

Bericht und Ursachenanalyse

• Echtzeit-Dashboards und Ausführungstrends zur Verfügung stellen.
• Sichern Sie Schritt-für-Schritt-Screenshots sowie Beweise für die Ausführung.
• Fehler bei der Kombination von Netzwerk, API, UI und Protokolanalyse.
• Mit natürlicher Sprache bei der Ermittlung der Ursache eines Fehlers helfen.
• Zur Prüfung und zur Freigabestellung werden Nachverfolgungsdaten aufbewahrt.
• Die Ursachenanalyse erfordert, dass Ingenieure sie im Zusammenhang mit dem tatsächlichen System überprüfen.

Kombinierbare Tests

Composable Test Automation wandelt gängige Geschäftsprozesse in wiederverwendbare Module um, sodass Teams End-to-End-Journeys wie mit Bausteinen zusammenbauen können. Auf der offiziellen Website werden vorgefertigte Ressourcen für Dynamics 365, Salesforce, SAP, Oracle Cloud und Workday aufgeführt.

• Wiederverwendung stabiler Prozesse wie Anmelden, Kundenanlegen und Bestellungsabwicklung.
• Gleiche Module in mehreren Projekten und Umgebungen kombinieren.
• Reduzierung der wiederholten Erstellung von Tests für standardmäßige Unternehmensanwendungen.
• Unterstützung für mehrere Instanzen in Dev, Test, UAT und Prod.
• Für benutzerdefinierte Anwendungen kann eine eigene Asset-Bibliothek erstellt werden.
• Modifikationen erfordern Versionskontrolle und Impact-Analyse.

CI/CD und Integration

• Verbinden Sie GitHub mit GitHub Actions.
• Unterstützung für Azure DevOps, Jenkins und GitLab.
• Kann mit Defektsystemen wie Jira integriert werden.
• Tests werden nach dem Einsenden, Pullen von Anfragen oder der Bereitstellung ausgelöst.
• Zugriff auf die Plattformfunktionen über API und Webhook.
• Bei fehlgeschlagenen Zutrittskontrollen muss zwischen Produktmängeln und instabilen Tests unterschieden werden.

Leitfaden für die Verwendung von Virtuoso QA

Erstellen des ersten Tests in natürlicher Sprache

1. Erstellen Sie ein Projekt und konfigurieren Sie die Ziel-App-Adresse.
2. Erstellen Sie Ziele und Prozesswege, die die Geschäftsprozesse darstellen.
3. Fügen Sie die Schritt-für-Schritt-Anleitungen in klarer, natürlicher Sprache hinzu.
4. Jeden Schritt sofort ausführen durch Live Authoring.
5. Erhöhung der Ergebnisse, Texte und Statusbehauptungen.
6. Wiederholen Sie die Ausführung mit unabhängigen Testdaten.
7. Nach Überprüfung der Beweise wird es dem Regressionssatz hinzugefügt.

Aufbau einer Reise durch Kombination von UI und API

1. Bestimmen Sie die End-zu-End-Business-Ergebnisse und die Testgrenzen.
2. Erstellen Sie mithilfe der API die Vordatensätze.
3. Benutzeraktionen werden in der UI ausgeführt.
4. Aufrufen der API oder der Datenbank zur Überprüfung des Status im Hintergrund.
5. Testdaten bereinigen und Umgebung wiederherstellen.
6. Speichern Sie die Antworten und Screenshote für fehlgeschlagene Schritte.
7. Parallel in mehreren Browsern ausführen.

Anbindung an CI/CD

1. Wählen Sie wichtige und stabile Rauchtests aus.
2. Erstellen Sie Zugangsschlüssel für die Plattform mit minimalen Berechtigungen.
3. Konfigurieren Sie Sicherheitsvariablen in den CI-Tools.
4. Legen Sie die Auslösebedingungen nach der Übermittlung oder Bereitstellung fest.
5. Definieren Sie Zeitlimits, Wiederholungsversuche und Misserfolgsgrenzen.
6. Leiten Sie den Bericht-Link zurück an die Build-Ergebnisse.
7. Regelmäßig unstabile Tests analysieren und die Ursachen beheben.

Für welche Benutzer geeignet

• Teams für Unternehmens-Webanwendungen mit häufigen Veröffentlichungen.
• Eine QA-Abteilung, die eine große Anzahl an Regressionstests durchführt.
• Mitarbeiter, die an automatisierten manuellen Tests teilnehmen möchten.
• Finanz-, Versicherungs- und Medizin-Teams, die Beweise für eine Prüfung benötigen.
• Umzug von Selenium oder herkömmlichen Unternehmens-Testsets.
• Teams, die Dynamics 365, SAP oder Salesforce testen.
• Ein Engineering-Team, das eine einheitliche Vorgehensweise für UI, API und Datenbank benötigt.

Typische Anwendungsfallen

• Jedes Mal werden automatisch wichtige Regressionstests ausgeführt.
• Überprüfung von Bestellungen und Kundenprozessen zwischen Systemen.
• Test der Versionserhöhung der Unternehmens-Cloud-Anwendung.
• Manuelle Fälle schnell in ausführbare Reisen umwandeln.
• Die alten Selenium-Tests auf eine für KI optimierte Plattform migrieren.
• Über Browser hinweg die Schlüsselnutzererfahrung überprüfen.
• Für die Konformitätsprüfung werden nachvollziehbare Testbelege gespeichert.

Für welche Situationen es nicht wirklich geeignet ist

• Hauptsächlich werden native iOS- oder Android-Apps getestet.
• Ein persönliches Projekt, das nur wenige einfache Unit-Tests benötigt.
• Organisationen, die keine Cloud-Testplattform nutzen können, werden nicht akzeptiert.
• Das Budget reicht nicht aus, um ein Team für maßgeschneiderte Unternehmenslösungen einzustellen.
• Es wird gehofft, dass die manuelle Testgestaltung und -prüfung vollständig abgeschafft werden.
• Es wird verlangt, dass der vollständige Quellcode selbst gehostet wird.

Abrechnungsmodell

Die offizielle Website von Virtuoso QA bietet derzeit zwei Abonnementmodelle an: „Consumption“ und „Capacity“. Für beide Modelle muss eine Anfrage gestellt werden, um einen individuellen Preis zu erhalten. Die Abrechnung basiert hauptsächlich auf der Anzahl der von den Nutzern erstellten Tests sowie der Kapazität zur Ausführung dieser Tests – es wird nicht direkt nach der Anzahl der erstellten Testfälle abgerechnet.

Wie man zwischen den beiden Modellen wählt

Optionale kostenpflichtige Erweiterungen

• Die Erstellung von Agententests wird nach Anwendung und Anzahl der Tests abgerechnet.
• Composable Test Automation wird nach Anwendung und Asset-Bibliothek abgerechnet.
• Schnelle Einrichtung und Erstellung von Testfällen können als Verbesserungen des Services dienen.
• Einführungsunterstützung und Migration für mehrere Anwendungen können zusätzlich berechnet werden.
• Unternehmensführung, Technologiearchitekten und fortgeschrittene SLAs gehören zu den Aufwertungsinhalten.
• Der Kaufangebot muss die Grenzen der Grundplattform und der Erweiterungen klar definieren.

Kostenloser Test und Überprüfung

• Die offizielle Website bietet eine zweiwöchige kostenlose Probephase an.
• Es werden auch interaktive Demonstrationen ohne Notwendigkeit, eine vollständige Umgebung zu betreiben, angeboten.
• Unternehmen können eine Proof of Value-Zertifizierung beantragen.
• Der Test sollte reale Anwendungen sowie wichtige Geschäftsprozesse umfassen.
• Gleichzeitig werden die Schreibgeschwindigkeit, die Wartungsdauer und die Ausführungsstabilität aufgezeichnet.
• Stellen Sie vor Ablauf der Testphase sicher, wie mit den Daten und den Testressourcen umgegangen wird.

Verträge und Austritt

• Die übliche Vertragsdauer beträgt 12 Monate.
• Mehrerjährige Verträge können Vorteile in Bezug auf Laufzeit oder Kapazität bringen.
• Die Erhöhung der Anzahl der Benutzer sowie der Kapazität kann durch vordefinierte Strukturen erfolgen.
• Bei der Abmeldung gab die offizielle Stelle an, bei der Exportierung der Testressourcen helfen zu können.
• Das Exportformat sowie die Übertragbarkeit der Ausführbaren Dateien sollten vor dem Kauf getestet werden.
• Die Bedingungen für Rückerstattungen, vorzeitige Beendigung und Herabstufung richten sich nach dem Vertrag.

Wie man die Gesamtkosten bewertet

• Zählen Sie die Anzahl der Benutzer zur Erstellung von Statistiken und der nur zum Lesen zugelassenen Prüfungsbenutzer.
• Schätzen Sie die tägliche Anzahl der Ausführungen sowie die maximale Parallelität.
• Unterscheidung zwischen Rauchen, Regression und Cross-Browser-Matrix.
• Kosten für die Hinzufügung von Agentic- oder Composable-Erweiterungen.
• Berechnen Sie die Kosten für Migration, Schulung und Datenverwaltung im Testumfeld.
• Die Rendite wird anhand der verkürzten Wartungszeiten und Veröffentlichungszyklen gemessen.
• Vermeiden Sie es, verschiedene Plattformen nur anhand der Anzahl der Tests zu vergleichen.

Sicherheit und Bereitstellung

Virtuoso QA bietet SaaS-Lösungen, die von AWS gehostet werden, und stellt Secure Bridge zur Durchführung von Tests innerhalb von VPCs bereit. Laut den offiziellen Angaben wird durch SOC 2 Type II die Zugriffskontrolle, die Verschlüsselung der Datenverarbeitung, die Auditergebnisse sowie die Konfiguration sicherer Netzwerke gewährleistet.

• Beantragen Sie vor dem Einkauf den neuesten SOC-Bericht sowie den Geltungsbereich.
• Verwenden Sie SAML SSO, um auf das Unternehmensidentitätsystem zuzugreifen.
• Setzen Sie minimale Berechtigungen für Projekte, die Umgebung und Benutzer.
• Empfindliche Intranet-Anwendungen werden über Secure Bridge hinsichtlich der Verbindung bewertet.
• Schlüssel und Testdaten werden mit sicheren Variablen verwendet.
• Regelmäßige Überprüfung von Logs, Mitgliedern und externen Integrationen.

Testdaten und Privatsphäre

• Verwenden Sie synthetische oder gedämpfte Testdaten.
• Schreiben Sie das echte Passwort nicht in natürlicher Sprache in die Schritte.
• Weisen Sie verschiedenen parallelen Tests eigene Konten zu.
• Nach dem Ausführen werden Bestellungen, Benutzer und andere Testprotokolle gelöscht.
• Schnappschüsse und Videos können persönliche oder vertrauliche Informationen enthalten.
• Legen Sie Fristen für die Aufbewahrung und den Zugriff auf Beweise fest.
• Regulierte Projekte müssen die grenzüberschreitende Verarbeitung sowie Unterauftragnehmer überprüfen.

KI und das Risiko der Selbstreparatur

• KI könnte Steuerelemente mit ähnlichem Aussehen, aber unterschiedlicher Bedeutung auswählen.
• Selbstheilung kann dazu führen, dass fehlerhafte Abläufe weiter ausgeführt werden.
• Automatisch erzeugte Aussagen reichen möglicherweise nicht aus, um Geschäftsfehler aufzudecken.
• Die Ursachenanalyse kann lediglich auf Korrelationen beruhen.
• Prozesse mit hohem Risiko erfordern eine manuelle Überprüfung der Änderungsprotokolle.
• Die Leistung des Modells sollte über einen langen Zeitraum durch die eigene Anwendung des Teams getestet werden.

Automatisierte Tests der Grenzen

• Automatisierung eignet sich für wiederholte Prozesse mit klaren Ergebnissen.
• Explorativer Test erfordert weiterhin menschliche Beobachtung und Urteilsfähigkeit.
• Verfügbarkeit und emotionale Erfahrungen können nicht allein durch Skripte überprüft werden.
• Für CAPTCHA und Zwei-Faktor-Authentifizierung sind spezielle Teststrategien erforderlich.
• Abhängigkeiten von Drittanbietern können zu Fehlern aus Nicht-Produktursachen führen.
• Dass der Test erfolgreich war, bedeutet nicht, dass das System keine anderen Mängel aufweist.

Vorteile des Produkts

• Die Verwendung natürlicher Sprache senkt die Hürden für die Automatisierung.
• Live Authoring bietet eine sofortige Überprüfung.
• Intelligente Objekterkennung und Selbstreparatur reduzieren die Wartung.
• Die Überprüfung der UI, API und Datenbanken kann zentral gesteuert werden.
• Unterstützt die parallele Ausführung in verschiedenen Browsern und in der Cloud.
• Berichte, Beweise und Ursachenanalysen sind für die Unternehmensführung geeignet.
• Ein kombinierbarer Asset-Pool für Unternehmensanwendungen.
• Unterstützung für CI/CD, API, Webhook und Secure Bridge.

Produktbeschränkungen

• Die offizielle Website gibt keinen festen Preis an.
• Die Standardvertragsdauer beträgt 12 Monate.
• Die Funktionen Agentic und Composable können zusätzliche Gebühren verursachen.
• Es umfasst hauptsächlich Web und API, statt native Mobile-Apps.
• Komplexe Szenarien erfordern weiterhin Selektoren, Erweiterungen und ingenieurtechnische Fähigkeiten.
• Die Selbstreparatur durch KI kann tatsächliche Veränderungen verbergen.
• Der Umzug großer, alter Pakete erfordert Investitionen.
• Die Ausführung in der Cloud sowie die Erstellung von Beweisen ergeben Anforderungen an die Datenverwaltung.
• Die Plattform ist kein Open-Source-Framework, das man selbst deployen kann.

APIs und Erweiterungen

Virtuoso bietet Plattform-APIs, Webhooks sowie Spracherweiterungsbibliotheken an, die zur Auslösung von Abläufen, zur Integration von Tools sowie zur Durchführung von Operationen genutzt werden können, die nicht durch die natürliche Sprache abgedeckt sind. Die genauen API-Rechte, Limitierungen sowie der Umfang der Unterstützung für Erweiterungen hängen von der Abonnementart sowie den offiziellen Dokumentationen ab.

GitHub und der Open-Source-Zustand

Virtuoso kann mit GitHub und GitHub Actions integriert werden, doch das bedeutet nicht, dass das Produkt selbst open source ist. Es wurde kein vollständiger Quellcode-Repository für die Virtuoso-Plattform gefunden, das auf der offiziellen SpotQA-Website überprüft werden könnte. Daher sollte es als geschlossenes Unternehmens-SaaS-Produkt eingestuft werden.

Grundlegende Informationen

Empfehlungswert

Empfehlungswert: 4,6 / 5. Virtuoso QA bietet eine vollständige Funktionalität in Bezug auf die Erstellung von Texten in natürlicher Sprache, Selbstreparaturfähigkeit, Kombination verschiedener Testszenarien sowie Unternehmenssteuerung – ideal für umfangreiche Web-Regressionstests. Allerdings müssen vor dem Kauf die kundenspezifischen Preise, die jährlichen Vertragskonditionen, die Kosten für Erweiterungen sowie die mangelnden Funktionen für Tests auf mobilen Geräten überprüft werden.

Häufige Fragen

Muss ein Virtuoso QA Code schreiben?

Grundlegende Tests können in natürlicher Sprache erstellt werden; komplexe Objekte und spezielle Logiken erfordern möglicherweise Selektoren oder Erweiterungen.

Wie viel kostet Virtuoso QA?

Die offizielle Website gibt keinen festen Preis an; sowohl der Verbrauch als auch die Kapazität müssen je nach Nutzer und Ausführungskapazität angefragt werden.

Gibt es eine kostenlose Probephase?

Ja, die offizielle Website bietet eine zweiwöchige kostenlose Testversion, interaktive Demonstrationen sowie ein Unternehmensspezifisches Proof of Value an.

Welche Browser werden unterstützt?

Unterstützt moderne Browser wie Chrome, Edge, Firefox und Safari.

Wird die API-Testung unterstützt?

Unterstützung: API-Aufrufe, UI-Operationen und Datenbankvalidierungen können in denselben End-to-End-Prozess integriert werden.

Wird native Mobile-App-Unterstützung angeboten?

Der aktuelle Schwerpunkt der Behörde liegt auf dem Testen von Browsern und APIs; native Mobile-Tests werden nicht als zentrale Fähigkeit angesehen.

Kann es mit CI/CD verbunden werden?

Ja, es werden Tools wie GitHub, Azure DevOps, Jenkins, GitLab usw. unterstützt.

Wird der Test automatisch repariert?

Es kann sich automatisch an Veränderungen bei gängigen Objekten anpassen, doch die Aufzeichnungen zu Überprüfungen und Korrekturen im kritischen Prozess sollten weiterhin überprüft werden.

Kann man die Testressourcen exportieren?

Laut der offiziellen Website kann bei einem Austritt die Exportierung in verschiedene Formate unterstützt werden; die genaue Übertragbarkeit sollte vor Abschluss des Vertrags überprüft werden.

Ist Virtuoso QA Open Source?

Keine Offenlegung des Quellcodes – die Integration in GitHub bedeutet nicht, dass der Quellcode der Plattform öffentlich zugänglich ist.