BaseRock AI
BaseRock AI – ein intelligentes Tool, das sich auf die Steigerung der Effizienz im Bereich KI konzentriert.
Tags:Steigerung der Effizienz durch KIWas ist BaseRock AI?
BaseRock AI ist eine agierende QA-Plattform für Entwicklungs-, Test- und Qualitätsmanagement-Teams. Sie kann Quellcode, Produktanforderungen, Jira-Tickets sowie Schnittstellendokumentationen verarbeiten, Serverendpunkte automatisch erkennen und ausführbare Testfälle sowie Playbooks erstellen.
Der aktuelle Schwerpunkt der Plattform liegt auf dem Business Use Case Testing, kurz BUCT. Dabei wird nicht nur überprüft, ob die Schnittstellen einen erfolgreichen Status zurückgeben, sondern auch, ob Prozesse wie Registrierung, Bestellungen, Zahlungen, Lagerverwaltung, Rechnungen und Benachrichtigungen tatsächlich zu den erwarteten Geschäftsergebnissen führen.
Für welche Teams eignet sich BaseRock?
- Backend-Entwicklerteam: Entdeckt automatisch Schnittstellen aus dem Code und erstellt Integrationstests.
- QA-Automatisierungs-Team: Reduzierung der Arbeit bei der Erstellung und Wartung von Testskripten.
- Microservice-Team: Überprüfung der End-to-End-Prozesse über mehrere Services hinweg.
- AI-Programmierteam: Etablierung von Qualitätssicherungen für die schnelle Erstellung und Anpassung von Code.
- Plattform-Entwicklerteam: Fügen Sie Testsets in die CI/CD- und Veröffentlichungsprozesse ein.
- Finanz- und E-Commerce-Team: Schutz der Zahlungs-, Bestell- und Einnahmeabläufe steht im Vordergrund.
- Unternehmen mit hohen Compliance-Anforderungen: Ausführung im privaten Umfeld und Aufbewahrung der Prüfergebnisse.
- Team mit veralteten Systemen: Erweiterung der Abdeckung, ohne das gesamte Testframework neu schreiben zu müssen.
Hauptfunktionen
- Code-Entdeckung: Scannen der Codebasis und Identifizierung von API-Endpunkten, Schemata und Abhängigkeiten.
- Erstellung von Integrationstests: Automatische Erstellung von Testfällen auf der Grundlage des Servicecodes, der Dokumentationen und Hinweisen.
- Testung von Geschäftsfall-Szenarien: Extrahieren der Geschäftsprozesse und erwarteten Ergebnisse aus dem PRD oder BRD.
- Playbook-Erstellung: Umwandlung von Prüfintentionen in natürlicher Sprache in ausführbare Schritte.
- Lokaler Agenten-Ausführung: Tests werden auf dem Kunden-Computer, in der VPC oder auf Arbeitsknoten ausgeführt.
- Inter-Service-Orchestrierung: Mehrere Microservices werden in der richtigen Geschäftsreihenfolge aufgerufen und das Gesamtergebnis überprüft.
- Testwartung: Automatische Anpassung der Tests nach Änderungen im Code und an den Anforderungen.
- Manuelle Überprüfung: Prüfen und bearbeiten Sie vor der Ausführung die von der KI erzeugten spezifischen Aktionen.
- CI/CD-Integration: Ausführen von Testsets nach dem Prinzip „Smoke Testing“, Regressionstests, nach Tags oder an Endpunkten.
- Zusammenfassender Bericht: Die Ergebnisse werden auf den Ebenen der Anwendungsfälle und der Geschäftsprozesse dargestellt.
Was ist das Testen von Geschäftsanwendungen?
Herkömmliche Tests überprüfen oft, ob einzelne Schnittstellen, Statuscodes und Schemata ordnungsgemäß funktionieren, können jedoch logische Fehler zwischen verschiedenen Diensten übersehen. BUCT verbindet die Produktanforderungen mit der Codeimplementierung und prüft kontinuierlich die Geschäftsresultate, die tatsächlich Kunden, Einnahmen und Compliance betreffen.
| Vergleichspunkte | Traditionelle Technik-Tests | BaseRock BUCT |
|---|---|---|
| Zentrale Frage | Sind der Code und die Schnittstellen korrekt? | Wurden die Geschäftsergebnisse tatsächlich erreicht? |
| Hauptzielgruppe | Einheiten, Schnittstellen, Statuscodes und Schema | Übergeordnete Prozesse, Regeln und Einnahmequellen zwischen Diensten |
| Häufige Befunde | Kollaps, Formatfehler und Interface-Fehler | Logischer Fehler: Die Zahlung war erfolgreich, aber es wurde keine Rechnung ausgestellt. |
| Quelle der Nachfrage | Tester schreiben Skripte und Aussagen | PRD, BRD, Jira, Code und Domänenvorschriften |
| Abdeckungsbereich | Häufig nach Diensten oder Komponenten aufteilen | End-to-End-Überprüfung von Benutzeraktionen bis zu den Ergebnissen |
Der Arbeitsablauf bei BaseRock
| Phase | Eingabe | Plattformverarbeitung | Ausgabe |
|---|---|---|---|
| Discovery | Git-Codebasis oder lokaler Code | Erkennen von Endpunkten, Schemata und Abhängigkeiten | Echtzeit-Interface-Karte |
| BUCT | PRD, BRD, Jira und Bereichsregeln | Business-Cases extrahieren und Code zuordnen | Prozessabläufe und Überprüfungsziele |
| AI Generation | Endpunktwissen und Geschäftskontext | Erstellung von Use Cases und Playbooks | Normale, Grenz- und negative Szenarien |
| Execution | Umfeld, Service-Adresse und Testkonfiguration | Lokaler Agent ausführen | Bestanden, gescheitert und Ausführungsprotokolle |
| Reporting | Testergebnisse und Geschäftsabgleich | Zentrale Organisation von Abdeckungen und Fehlern | Technische Berichte und Geschäftsberichte |
Unterstützte Datengrundlagen
- Code-Repositories von GitHub, GitLab und Bitbucket.
- Quellcode auf dem lokalen Rechner des Entwicklers.
- PRD, BRD und Geschäftsregeln im reinen Textformat.
- Anforderungssysteme wie Jira-Tickets, Confluence, Notion usw.
- API-Beschreibungen, Beispiele für Anfragen und Antworten sowie Schnittstellenspezifikationen.
- Die von MCP-Servern bereitgestellten externen Kontexte wie Atlassian, MongoDB usw.
- Die direkt von den Testern eingegebenen Anweisungen in natürlicher Sprache.
Code und Repository-Verbindung
- GitHub Cloud: Lesen von Code über OAuth-Authentifizierung.
- GitLab: Unterstützt OAuth-Anmeldungen und Verbindungen zu Repositorien.
- Bitbucket Cloud: Kann als entfernte Quelle für Code verwendet werden.
- Bitbucket Data Center: Die Dokumentation listet die Unterstützungsmethoden auf.
- Lokaler Code: Es ist möglich, Dienste zu erstellen, ohne eine entfernte Repository-Instanz anzuschließen.
- Eine erste OAuth-Verbindung erfordert in der Regel die Genehmigung des Repository-Administrators.
- Die offiziellen Dokumente besagen, dass die Rechte für den entfernten Quellcode auf Lesezugriff beschränkt sind.
Unterstützte Programmiersprachen und Architekturen
Laut den offiziellen Dokumenten können Codebibliotheken aus Java, Python, Go oder anderen gängigen Sprachen angebunden werden, wobei der Schwerpunkt auf der Identifizierung von Schnittstellen durch Routing, Controller und Servicestrukturen liegt. Die Plattform eignet sich sowohl für Microservices als auch für monolithische Projekte.
| Projekttypen | Konfigurationsmethode | Schwerpunkte des Tests |
|---|---|---|
| Microservices | Jeder Dienst wird separat angeschlossen und baut Abhängigkeiten auf. | Schnittstellenverträge und Geschäftsflüsse zwischen Diensten |
| Einzellösung | Dienste nach Modul, Codepfad, Route oder Controller einteilen | Modulgrenzen und End-zu-End-Prozesse |
| Entfernter Repository | Lesereichweiten-Verbindung über OAuth | Automatische Erkennung und Nachverfolgung von Codeänderungen |
| Lokale Projekte | Dienste werden vom BaseRock Agent aus lokalen Quellcodes erstellt. | Der Code muss nicht auf einer externen Git-Plattform gespeichert werden. |
Testen von Schnittstellen und Protokollen
- REST: Erstellung von Tests nach Methode, Pfad, Anfrage- und Antwortregeln.
- GraphQL: Ein Protokolltyp, der als Agent-Execution-Kit verwendet werden kann.
- Kafka: Kann im Paket nach Protokoll gefiltert und ausgeführt werden.
- Mehrschrittige Schnittstelle: Speichern der vorherigen Antwortvariablen und Übergeben an die nachfolgenden Schritte.
- Zertifizierungs-Vorabschritt: Durchführung des Anmeldens oder des Erhalts eines Tokens vor dem offiziellen Test.
- Nachbereinigung: Nach Abschluss des Tests werden die erzeugten Daten gelöscht oder die Umgebung wiederhergestellt.
- Dynamische Werte: Verarbeitungs-ID, Zeitstempel und während des Betriebs erzeugte Variablen.
Wie man mit BaseRock beginnt
- Kontaktieren Sie den Verkauf bei BaseRock, um einen Account sowie Zugriff auf das Kontrollflächen-Interface anzufordern.
- Wählen Sie das SaaS-Kontrollflächen-Modell oder eine eigenverwaltete Unternehmensimplementierung.
- Teammitglieder einladen und Projektrollen festlegen.
- Konfigurieren Sie die Modell-Schlüssel für OpenAI, Anthropic, Azure, Bedrock oder Vertex.
- Verbinden Sie den Code-Repository über OAuth oder bereiten Sie den lokalen Code vor.
- Fügen Sie den ersten Service hinzu und überprüfen Sie die gefundenen Endpunkte.
- Laden Sie nach Bedarf Schnittstellenspezifikationen, PRD oder BRD hoch, um den Geschäftskontext zu erweitern.
- Installieren und starten Sie den BaseRock Agent, und führen Sie anschließend in der Testumgebung einige Use-Cases aus.
- Nach Überprüfung der Erstellungs Schritte und Ergebnisse wird es in den CI/CD-Prozess aufgenommen.
Eigene große-Modell-Schlüssel
BaseRock verwendet das Modell „Bring Your Own LLM“. Die Unternehmen müssen dazu API-Schlüssel für die unterstützten Modellservices bereitstellen. Die Plattform nutzt diese Modelle, um Code, Anforderungen sowie den Geschäftskontext zu verstehen und anschließend Testfälle sowie Playbooks zu erstellen.
| Quelle des Modells | Anschlussmöglichkeiten | Hinweise zur Beschaffung |
|---|---|---|
| Anthropic | Direkter API-Schlüssel oder Unternehmensumgebung | Die Kosten für die Aufrufung des Modells werden einzeln getragen. |
| OpenAI | Direkte API-Schlüssel | Bestätigung der Datenspeicherung und Einstellungen zur Unternehmensprivatsphäre |
| Azure | Azure-Modelldienste für Unternehmen | Überprüfung von Bereich, Quoten und Netzwerkzugriff |
| Amazon Bedrock | Modelle im Unternehmens-Cloud-Konto | Überprüfung von Modellen, Regionen und IAM-Rechten |
| Google Vertex AI | Google Cloud-Modelldienste | Überprüfung von Positionen, Regionen und Servicekonten |
Wie kann man sich mit dem ersten Service verbinden?
- Klicken Sie im Kontrollflächen auf „Dienst hinzufügen“.
- Wählen Sie den Lagerort und die Zielzweig oder verwenden Sie den lokalen Quellcode.
- Weisen Sie für einzelne Projekte den Modulkodeweg, die Route oder den Controller zu.
- Überprüfen Sie die vom System erkannten Endpunkte und die Abhängigkeiten zwischen den Diensten.
- Optional kann eine Anleitung in TXT- oder PDF-Format mit einer Größe von bis zu 10 MB hochgeladen werden.
- Bieten Sie Hinweise zum jeweiligen Bereich an, oder lassen Sie die Plattform auf Basis des Codes automatisch Tests erstellen.
- Ergänzung von Umgebungsadressen, Zertifizierungen, Kontextvariablen und Regeln zur Datenreinigung.
- Nach der Erstellung des Playbooks werden die einzelnen Schritte schrittweise überprüft.
Generierung von Integrationstests
- Aus dem Quellcode ableiten von Endpunkten, Parametern sowie der Struktur von Anfragen und Antworten.
- Erkennen zusätzliche Regeln und Beispiele durch Kombination mit optionalen Spezifikationsdokumenten.
- Erweitern Sie die Geschäftsgrenzen und Überprüfungsanforderungen gemäß den Bereichshinweisen.
- Erstellen Sie Fallbeispiele für den Normalfall, Randbedingungen und fehlerhafte Eingaben.
- Einführung von Schritten für Zertifizierung, Datenvorbereitung und -reinigung.
- Übertragung eines natürlichen Sprach-Playbooks in deterministische Ausführungsaktionen.
- In den Berichten zum Servicelevel können die Ergebnisse für einzelne Schnittstellen eingesehen werden.
Testprozess für Geschäftsfall-Szenarien
- Erstellen Sie in dem Bereich „Business Flows“ die Geschäftsprozesse, die geschützt werden müssen.
- Laden Sie BRD-, PRD- oder Geschäftsregel-Dateien im TXT- oder PDF-Format hoch.
- Lassen Sie die KI konkrete Geschäftsfallbeispiele aus Dokumenten extrahieren.
- Verknüpfen Sie jeden Use Case mit dem bereits verbundenen Service.
- Die Geschäftsfall-Anwendungen auf Schnittstelltests abbilden und Verifizierungs Schritte hinzufügen.
- Erstellen Sie ein Geschäfts-Playbook, das normale, Grenz- und negative Szenarien abdeckt.
- Der gesamte Prozess wird von lokalen Agenten über verschiedene Dienste abgewickelt.
- Die Ergebnisse werden jeweils aus der Testfallansicht und der Nutzungsfallansicht angezeigt.
Beispiele für Geschäftsprozesse
| Unternehmensszenarien | Schritte zwischen Diensten | Kritische Überprüfung |
|---|---|---|
| E-Commerce-Bestellung | Kontoverifizierung, Bestellaufstellung, Zahlung, Lagerbestand, Benachrichtigungen und Versand | Bestellbestätigung, Abbuchung, Lagerabbau und Nachrichtenversand |
| Abonnementverlängerung | Konto, Abrechnung, Vorteile und Benachrichtigungen | Erfolgreiche Abzug, Verlängerung der Berechtigungen und Rückfall bei Misserfolg |
| Rückerstattung | Bestellungen, Zahlungen, Lagerbestände und Finanzen | Betrag der Rückerstattung, Bestellstatus und Kontostand stimmen überein. |
| Benutzerregistrierung | Identität, Daten, E-Mails und Berechtigungen | Konto erstellt, Verifizierung abgeschlossen und Anfangsrechte korrekt |
| Rechnungserstellung | Zahlungen, Bestellungen, Finanzen und Benachrichtigungen | Nach der Zahlung existiert die Rechnung und der Betrag stimmt überein. |
Was ist ein Playbook?
Ein Playbook ist ein strukturiertes Testverfahren, das in englischer Sprache beschrieben wird. Die KI wandelt die Schritte in natürlicher Sprache in ausführbare Workflows um. Ein Playbook umfasst in der Regel drei Phasen: Vorbereitung, Ausführung und Aufräumen.
- Service-Level-Playbook: Eine Gruppe von Tests für einen Dienst.
- Endpunkt-basiertes Playbook: Die Überprüfung wird um eine einzelne Schnittstelle herum organisiert.
- Testfall-Playbook: Ausführung bestimmter normaler oder abweichender Szenarien.
- Prozessplaybook: Überprüfung des endgültigen Geschäftsergebnisses über mehrere Dienste hinweg.
- Die Zustände umfassen in Bearbeitung, bereit und Fehler.
- Es ist möglich, es an natürliche Sprache anzupassen, sowie Anfragen und Logik direkt zu bearbeiten.
Manuelle Überprüfung und Editierbarkeit
- Prüfen Sie vor der Ausführung alle Schritte der AI-Infersion.
- Überprüfen Sie die Ziel-Schnittstelle, die Anfrageschlüssel, die Last und die Parameter.
- Überprüfen, wie die Antwortvariablen gespeichert und übertragen werden.
- Überprüfen Sie die Statuscodes, das Schema und die Geschäftsansprüche.
- Modifizieren Sie das Playbook in natürlicher Sprache und halten Sie die Absicht synchron.
- Bei Bedarf können Lasten und Logik direkt in der Workflow-Oberfläche geändert werden.
- Um in Umgebungen mit hohem Risiko arbeiten zu können, ist die Genehmigung von Personal erforderlich.
BaseRock Agent
Der BaseRock Agent läuft im Kundenumfeld und ist dafür verantwortlich, die Steuerungsplattform zu verbinden, Testanweisungen entgegenzunehmen sowie die tatsächlichen Dienste aufzurufen. Er kann auf dem Rechner des Entwicklers, in einer VPC, auf physischen Servern oder auf speziellen CI-Workstations bereitgestellt werden.
- Aus der Web-Oberfläche aus führen Sie einen einzelnen Testfall aus.
- Ein Satz an Tests wird über die Kommandozeile ausgeführt.
- Aus der CI/CD-Pipeline werden Smoke- und Regressionstests ausgelöst.
- Es ist möglich, über den lokalen Code auf die Dienste zuzugreifen – es ist keine Verbindung zu einem entfernten Repository notwendig.
- Die Ausführungsprotokolle sowie die Ergebnisse von fehlgeschlagenen Versuchen werden an das Kontrollflächen-System gesendet.
- Lassen Sie den Produktionsfluss sowie sensible Betriebsdaten im Kundenumfeld.
CI/CD-Integration
- Führen Sie die Tests nach dem Dienstnamen und der Zielumgebung aus.
- Geben Sie die Basisadresse des Testdienstes an.
- Filtern nach den Protokollen REST, GraphQL oder Kafka.
- Ausführen nach Testfall-ID, Label oder Endpoint.
- Unterscheiden Sie zwischen normalen und negativen Szenarien.
- Kombinieren Sie Testsets nach Version, Methode oder Rückgabebereich.
- Fehler als Schranke für Zusammenführung, Veröffentlichung oder Bereitstellung nutzen.
Einrichtungsmethode
| Einrichtungsmethode | Steuerungsfläche | Ausführungsagent | Für Teams geeignet |
|---|---|---|---|
| SaaS | Hosted von BaseRock | Auf dem Gerät oder in der Umgebung des Kunden ausgeführt | Teams, die schnell starten möchten |
| Private Cloud oder VPC | Einsatz an den vom Kunden genehmigten Cloud-Grenzen | Im selben privaten Umfeld ausgeführt | Unternehmen mit Anforderungen an die Datengrenzen |
| Lokale Bereitstellung | Interne Selbstverwaltung des Unternehmens | Lokale oder physische Arbeitsknoten | Strenge Konformität und isolierte Umgebung |
Preisgestaltung und Beschaffungsmethoden
BaseRock gibt keine festen monatlichen Abonnementpreise an. Auf der offiziellen Preisseite wird erklärt, dass die Kosten nach der Anzahl der getesteten Dienste berechnet werden und je nachdem, ob es sich um SaaS-Lösungen oder selbst gehostete Lösungen handelt, unterschiedliche Preise gelten. Unternehmen müssen zudem die Kosten für eigene große Modelle, Cloud-Ressourcen sowie das interne Betriebsumfeld tragen.
| Kostenpositionen | Art der Abrechnung oder der Auswirkungen | Prüfen vor dem Kauf |
|---|---|---|
| BaseRock-Plattform | Kostenkalkulation nach der Anzahl der zu prüfenden Dienste | Wie wird ein Service definiert, und wie wird ein einzelner Modul berechnet? |
| Einrichtungsmethode | SaaS oder selbst gehostet | Werden die anfängliche Implementierung, Upgrades sowie Wartung zusätzlich berechnet? |
| LLM-Aufruf | Verwendung der eigenen Modell-Schlüssel des Kunden | Modell-Token, Regionen und Kosten für Konkurrenzverarbeitung |
| Infrastruktur | Agent, Kontrollfläche, Protokolle und Speicherressourcen | Wer stellt es bereit und wartet es? |
| MCP und Systemintegration | Kann eine anpassungsgerechte Konfiguration erfordern. | Kosten für Standardanschlüsse und maßgeschneiderte Schnittstellen |
| Support-Dienste | Nach Unternehmensvereinbarung | Reaktionszeit, Schulung und individuelle Unterstützung |
Vor dem Kauf muss dies überprüft werden.
- Berechnungsmethode für die Anzahl der zu prüfenden Dienstleistungen und Mindestvertragsgröße.
- Preisdifferenzen zwischen SaaS, self-hosted und privatem Cloud.
- Verantwortlichkeiten für das Kontrollflächenmanagement, die Aktualisierung von Agenten sowie die Wartung der Verbindungen.
- Trägt der Kunde die Kosten für den Aufruf des Modells vollständig?
- Gleichzeitige Aufgaben, Anzahl der Benutzer, ob es Beschränkungen bei Speicher und Protokollen gibt.
- Sind Pilotprojekte, Umsetzung, Schulung und kontinuierliche Unterstützung im Angebot enthalten?
- Methoden zur Exportierung von Testressourcen, Playbooks und Berichten nach Beendigung des Vertrags.
Typische Anwendungsfallen
- Schnittstelle-Integrationstest: Automatische Erstellung von normalen und fehlerhaften Szenarien aus dem Code.
- Microservice-Regression: Überprüfung der Verträge und der Zusammenarbeit mehrerer Dienste nach einem Upgrade.
- Einnahmequellen schützen: Kontinuierliche Überprüfung von Bestellungen, Zahlungen, Abonnements und Rückerstattungen.
- Governance für von KI erzeugten Code: Schnelle Erstellung von Tests zur Synchronisierung mit schnell veränderndem Code.
- Zugriffskontrolle bereitstellen: Ausführung von Smoke-Tests sowie kritischen Geschäfts-Suiten in CI/CD.
- Anforderungskonformität: Überprüfen, ob das Verhalten des Codes mit dem PRD und Jira übereinstimmt.
- Modernisierung der verbleibenden Tests: Ersatz einiger anfälliger Skripte durch Playbooks in natürlicher Sprache.
- Konformitätsprüfung: Aufbewahrung der Testergebnisse und Protokolle zur Überprüfung der Geschäftsregeln.
Vorteile des Produkts
- Ergebnisorientiertes Geschäftsführungsverständnis: Es werden nicht nur die Schnittstellen überprüft, sondern auch die Prozesse rund um Kunden und Einnahmen geprüft.
- Automatische Codeerkennung: Es ist nicht notwendig, zunächst manuell vollständige Spezifikationsdokumente zu pflegen.
- Inter-Service-Orchestrierung: Geeignet für komplexe Microservices und monolithische Module.
- Natural Language Playbook: Die Hürden für das Schreiben von Testskripten senken.
- Eigene Modelle: Unternehmen können bestehende Cloud-Modellprotokolle und -Schlüssel verwenden.
- Lokale Ausführung: Der Agent sorgt dafür, dass der Datenverkehr im Kundennetzwerk verbleibt.
- Flexible Bereitstellung: Es stehen Optionen für SaaS, self-hosted sowie private Umgebungen zur Verfügung.
- Künstlich steuerbar: Vor der Ausführung können die einzelnen Aktionen überprüft und geändert werden.
- Laufende Wartung: Automatische Anpassung der Tests nach Änderungen im Code und an den Anforderungen.
Nutzungsbeschränkungen
- Kein offener Preis: Es muss mit dem Verkauf kontaktiert werden, um einen Preis je nach Menge der Dienstleistungen zu erhalten.
- Konto muss eröffnet werden: Derzeit handelt es sich nicht um ein Tool für eine sofortige, selbstständige Registrierung durch Privatpersonen.
- Modell-Schlüssel erforderlich: Die Kosten für LLM sowie die Datenbedingungen werden von dem Unternehmen separat verwaltet.
- Erste Verbindung ist komplex: Es sind Lagerrechte, eine Umgebung sowie Konfigurationen für Agenten und Dienste erforderlich.
- KI kann Geschäftsprozesse falsch interpretieren: Die Erstellung von Use Cases und Playbooks muss weiterhin von Fachleuten überprüft werden.
- Risiko der Testdaten: Falsche Konfigurationen können das Test- oder Produktivsystem verändern.
- Steigende Abhängigkeit von MCP: externe Anfragen und Verbindungen zu Datenquellen erfordern zusätzliche Steuerung.
- Selbstverwaltung beinhaltet Wartungskosten: Aufwärtsmodernisierung, Überwachung, Ressourcen und Sicherheit werden klar zwischen den beiden Parteien aufgeteilt.
Sicherheit und Datengrenzen
Die offiziellen Seiten und Dokumentationen geben an, dass BaseRock den Anforderungen von SOC 2 Type II entspricht. Zudem werden Verschlüsselung, Rollenrechte, Isolierung der Kundenumgebungen sowie Audit-Protokolle bereitgestellt. Für die Verbindung zu den Remote-Repositorien gelten nur Leserechte; der lokale Agent führt die Tests in der Kundenumgebung aus.
- Verwenden Sie für Lager- und Service-Konten OAuth mit minimalem Berechtigungslevel.
- Verarbeiten Sie sensible Code und Anforderungen in einer VPC oder im lokalen Umfeld.
- Einschränkungen für die Aufbewahrung von Unternehmensdaten und das Training von Modellen Dritter festlegen.
- Beschränken Sie für den Agenten die Netzwerkziele und die ausführbaren Umgebungen.
- Standardmäßig sind zerstörerische Tests in der Produktionsumgebung verboten.
- Legen Sie einen Aufbewahrungszeitraum für Testdaten, Protokolle und Berichte fest.
- Überprüfen Sie regelmäßig die Berechtigungen für Rollen, Lager, MCP und Modell-Schlüssel.
Empfehlungen zur Sicherheitsbereitstellung
- Zuerst sollte die Plattform in einem unabhängigen Test-Repository sowie in einer Nicht-Produktionsumgebung getestet werden.
- Erstellen Sie eine read-only-Code-Verbindung sowie ein spezielles Testkonto für BaseRock.
- Konfiguration der Netzwerk-Zulassungsliste für Agenten sowie minimale Systemrechte.
- Verwenden Sie synthetische Daten, um die Kopie sensibler Informationen echter Kunden zu vermeiden.
- Überprüfen Sie die Aktionen zum Schreiben, Löschen, Bezahlen und Benachrichtigen im Playbook.
- Für gefährliche Vorgänge werden manuelle Genehmigungen sowie Umweltschutzvorschriften eingeführt.
- Wechseln Sie Lager, Modelle und MCP-Zugangsdaten aus und überwachen Sie ungewöhnlichen Zugriff.
- Vorbereitung für einen Notstopp, ein Rollback sowie manuelle Übernahme des Prozesses.
Datenschutzhinweise
BaseRock kümmert sich um Kontodaten, Nutzungsdaten sowie Diagnosedaten. Bei Unternehmensprojekten sind außerdem Quellcode, Anforderungen und Testmetadaten relevant. Wenn große Drittanbietermodelle genutzt werden, können die im Rahmen der Aufgabe anfallenden Daten an den jeweiligen Modellanbieter übermittelt werden. Die genaue Verarbeitung hängt von den Unternehmensvereinbarungen sowie der Bereitstellungskonfiguration ab.
GitHub und der Open-Source-Zustand
BaseRock hat auf GitHub Dokumentationen sowie Beispiele für Anwendungen veröffentlicht, doch das Kontrollsystem von Agentic QA sowie die Agenten und das Kerngenerierungssystem sind nicht als Open Source gekennzeichnet. Die Veröffentlichung von Dokumentationsrepositorien bedeutet nicht, dass auch die Quellcodes der kommerziellen Produkte öffentlich zugänglich sind – außerdem sollte dies nicht mit dem Baserow-Datenbankprojekt verwechselt werden.
API und Erweiterungsmöglichkeiten
BaseRock erweitert sich durch Lagerverbindungen, MCP-Server, Modellanbieter, Command-Line-Agenten sowie CI/CD-Parameter. Die offiziellen Dokumentationen konzentrieren sich auf die Unternehmensintegration und den Betrieb der Agenten, anstatt auf allgemeine Test-SaaS-APIs für Drittanbieterentwickler.
Grundlegende Informationen
| Felder | Inhalt |
|---|---|
| Name des Tools | BaseRock AI |
| Entwicklungsunternehmen | BaseRock AI Inc. |
| Arten von Werkzeugen | Agentic QA und Plattform für die Testung von Geschäftsfall-Szenarien |
| Testebene | Service-Ebene-Integrationstests und Anwendungs-Ebene-BUCT |
| Quelle des Codes | GitHub, GitLab, Bitbucket und lokaler Code |
| Modellansatz | Der Kunde bringt seine eigenen Schlüssel für OpenAI, Anthropic, Azure, Bedrock oder Vertex mit. |
| Einrichtungsmethode | SaaS, selbst gehostet, Private Cloud oder VPC |
| Preismuster | Kostenkalkulation nach der Anzahl der zu prüfenden Dienste |
| Ist eine Registrierung erforderlich? | Es ist notwendig, dass das Team ein Konto eröffnet. |
| Ob Open Source | Die Kernplattform ist nicht open source, die Dokumentationen und Beispielrepositorien sind jedoch öffentlich zugänglich. |
| Haupterweiterungen | MCP, Agent, CLI und CI/CD |
Empfehlungswert
Der Gesamtbewertungswert beträgt 4,5 von 5 möglichen Punkten. BaseRock eignet sich für Entwicklerteams in Unternehmen mit komplexen Schnittstellen und wichtigen Geschäftsprozessen. Allerdings sind Ressourcen für die Anbindung, die Entwicklung von Modellen sowie für die Überprüfung der Umgebung und der Geschäftsprozesse erforderlich. Es eignet sich daher nicht für persönliche Projekte, bei denen nur einfache Unit-Tests ausreichen.
Häufige Fragen
Was macht BaseRock AI hauptsächlich?
Es erstellt aus Code und Anforderungen integrierte Tests sowie Tests für Geschäftsprozesse zwischen verschiedenen Diensten, führt diese aus und wartet sie.
Was bedeutet BUCT?
Es handelt sich um Business Use Case Testing – dabei wird vor allem die Geschäftsergebnisse überprüft, und nicht nur der Zustand der Schnittstellen.
Welche Programmiersprachen werden unterstützt?
Offiziell wird die Unterstützung für Java, Python, Go sowie andere wichtige Sprachen zugesichert.
Welche Code-Repositories werden unterstützt?
GitHub, GitLab und Bitbucket werden unterstützt; es ist auch möglich, über lokalen Code zuzugreifen.
Braucht man einen eigenen Modell-Schlüssel?
Notwendig: BaseRock verwendet die von den Kunden bereitgestellten Schlüssel für die großen Modelle.
Wird Self-Hosting unterstützt?
Unterstützung – es ist auch möglich, eine SaaS-, Private-Cloud- oder VPC-Implementierung zu wählen.
Wie viel kostet BaseRock?
Der Preis wird je nach Anzahl der getesteten Dienste und der Implementierungsart angepasst; auf der offiziellen Website werden keine festen Pakete bereitgestellt.
Kann CI/CD hinzugefügt werden?
Ja, der Agent kann die Suites nach Service, Umgebung, Tag, Protokoll und Testkategorie ausführen.
Ist BaseRock open source?
Die Kernplattform ist nicht open source; GitHub stellt nur Dokumentationen und Beispielprojekte zur Verfügung.
Wird der Quellcode geändert?
Die offiziellen Dokumente besagen, dass bei der Verbindung zu entfernten Repositoren nur Lesezugriff gewährt wird.
Kann man die Produktionsumgebung testen?
Technisch ist es möglich, die Zieladresse anzupassen, doch es wird nicht empfohlen, automatisierte Tests durchzuführen, bei denen in der Produktion Daten geschrieben oder gelöscht werden könnten.
Eignet es sich für individuelle Projekte?
In der Regel eignet es sich besser für Unternehmen und Teams; für individuelle Projekte können zunächst leichtere Testgenerierungswerkzeuge verwendet werden.
Guigong-Netzwerk-Sicherheitsnummer: 45132202000164