AI21

Was ist AI21 Maestro?

AI21 Maestro ist ein System für dynamische Planung, Orchestrierung und Optimierung, das von AI21 Labs für Produktions-Level-AI-Agenten entwickelt wurde. Es wählt je nach Aufgabe, Anforderungen und Budget während des Betriebs passende Modelle, Werkzeuge sowie Ausführungswege aus und überprüft sowie korrigiert die Zwischenergebnisse sowie die endgültigen Ausgaben.

Eine kurze Beschreibung

Maestro kann Unternehmensdokumente, Webseiten, Modelle und Tools zu nachvollziehbaren Wissensagenten zusammenfassen und automatisch Lösungen zwischen Qualität, Kosten und Reaktionszeit finden.

Produktpositionierung

• Für Aufgaben in wertvollen, datenintensiven Unternehmen.
• Zur Erstellung und Optimierung von RAG-Wissensagenten.
• Es wird die dynamische Programmierung zur Laufzeit betont, anstelle fester Pfade.
• Durch die Anforderung nach Überprüfung und Durchführung von Nachverfolgungen wird die Kontrollierbarkeit verbessert.
• Unterstützung der einheitlichen Orchestrierung von AI21 und Drittanbieter-Modellen.
• Es gibt sowohl API- als auch SDKs, außerdem kann es über die Plattform konfiguriert werden.

Kernfunktionen

• Komplexe Aufgaben in einen mehrstufigen Ausführungsplan aufteilen.
• Wählen Sie das geeignete Modell sowie Such- und externe Tools aus.
• Gleichzeitige Erkundung mehrerer möglicher Pfade.
• Berechnet nach Qualität, Kosten und Verzögerungsbudget.
• Überprüfen Sie schrittweise, ob die Anforderungen erfüllt sind.
• Nach Erkennung eines Problems wird automatisch erneut versucht oder korrigiert.
• Es werden Ausführungsdiagramme, Konfidenzintervalle und Überprüfungsberichte bereitgestellt.
• Speichern Sie die Agent-Einstellungen für spätere API-Aufrufe.

Dynamische Programmierung und Planung

Jedes Mal bei einem Ausführungsvorgang erstellt Maestro auf der Grundlage der Aufgabe einen Ausführungsbaum, der aus Modellaufrufen und Tool-Operationen besteht, anstatt stets eine feste Prompt-Kette zu verwenden. Der Plan ändert sich je nach Anforderungen, Daten und Budget.

• Analyse der Ziele der Aufgabe und der expliziten Anforderungen.
• Wählen Sie die zu ausführenden Such- und Schlussfolgerungs Schritte aus.
• Vergleichen Sie die erwartete Qualität und Kosten der verschiedenen Wege.
• Passen Sie im Laufe der Ausführung den nächsten Schritt an.
• Stoppen, wenn der zusätzlich berechnete Wert unzureichend ist.
• Die vollständige Ausführungsverfolgung wird zur Überprüfung bereitgestellt.

Wettbewerb auf mehreren Wegen

• Erstellen Sie mehrere mögliche Strategien für komplexe Probleme.
• Es ist zulässig, dass parallele Pfade unterschiedliche Modelle oder Werkzeuge verwenden.
• Vergleichen Sie, inwieweit die Ergebnisse der Kandidaten den Anforderungen entsprechen.
• Qualitativ minderwertige oder kostenaufwändige Ansätze werden ausgeschlossen.
• Bewahren Sie die besten Ergebnisse auf.
• Parallelrechnung erhöht die tatsächlichen Kosten und Verzögerungen.

Integrierte Überprüfung und automatische Korrektur

Maestro bewertet die Ausgabe anhand von vom Benutzer definierten Anforderungen wie Inhalt, Stil, Format und Grenzen. Wenn das Ergebnis unter dem Zielwert liegt, können weitere Suchen, Schlussfolgerungen oder Anpassungen vorgenommen werden, bis die Anforderungen erfüllt sind oder der Budgetrahmen erschöpft ist.

• Für jede Anforderung wird eine eigene Punktzahl zurückgegeben.
• Erlässt eine Gesamtbewertung der Zufriedenheit.
• In einem Zwischenschritt wurde ein Fehler festgestellt.
• Vermeiden Sie, dass Fehler weiter in nachfolgende Prozesse übertragen werden.
• Automatische Versuche, fehlerhafte Ergebnisse zu korrigieren.
• Die Überprüfungsergebnisse müssen weiterhin mit einer manuellen Stichprobenkontrolle abgeglichen werden.

Budgetkontrolle

Optimierung von Qualität, Kosten und Verzögerungen

• Legen Sie für die Aufgabe eine akzeptable Qualitätsgrenze fest.
• Beschränkung des für eine einzelne Ausführung verfügbaren Rechenbudgets.
• Setzen Sie die Verzögerungsziele entsprechend der Szenariobestimmung.
• Beobachten Sie die Kurven der Qualitätskosten bei verschiedenen Konfigurationen.
• Einfache Aufgaben werden an den leistungsfähigeren Ausführungspfad geleitet.
• Erhöhen Sie die Berechnungen nur, wenn der erwartete Qualitätsvorteil es rechtfertigt.
• Die Ausgaben werden nach Team, Codebase und Agent zugeordnet.

RAG-Wissensabruf

Maestro basiert auf dem RAG Engine von AI21 und kann Suchen in Dateien, Webseiten sowie die Beantwortung anschließender Fragen über eine Planungsschicht kombinieren. Die Antworten können im Kontext von Unternehmensdokumenten gegeben werden, doch RAG kann Illusionen noch nicht vollständig beseitigen.

• Nach dem Hochladen der Datei werden sie automatisch analysiert und indiziert.
• Relevanten Inhalt aus dem angegebenen Dokument abrufen.
• Öffentliche Informationen durch Suchen auf Webseiten ergänzen.
• Unterstützung bei fortlaufenden Nachfragen und Klärungen.
• Verwenden Sie die Suchergebnisse für mehrstufiges Schließen.
• Eignet sich für interne Kenntnisse und Kundenanwendungen.

Unterstützte Dateitypen

• PDF-Dokument.
• Microsoft Word-Dokument.
• Reiner Textdatei.
• Markdown-Datei.
• HTML-Datei.
• Die Verbindung zu Cloud-Datenquellen muss anhand der Kapazitäten des Kontos überprüft werden.
• Scans, komplexe Tabellen und Bilder sollten getrennt voneinander hinsichtlich der Auswertungsgüte getestet werden.

Strukturiertes RAG und Datenauswertung

• Strukturierte Informationen aus komplexen Dokumenten extrahieren.
• Erkennen von Tabellen, Feldern und Beziehungen zwischen Dokumenten.
• Die Ergebnisse der Auswertung werden für die folgenden Agentenschritte verwendet.
• Geeignet für Verträge, Berichte und technische Dokumente.
• Kann für Datenmigration und Standardisierung verwendet werden.
• Felder mit hohem Risiko müssen mit dem Originaltext abgeglichen werden.

modellunabhängige Orchestrierung

Maestro kann die eigenen Modelle von AI21 verwenden, sowie auch Modelle von Drittanbietern, deren Schlüssel entweder von AI21 verwaltet werden oder vom Benutzer selbst bereitgestellt werden. Das Team kann die Modelle selbst auswählen – oder das System lässt die Auswahl automatisch nach der Aufgabe zu.

• Unterstützung für die AI21 Jamba-Serie von Modellen.
• Teilweise können Modelle von OpenAI verwendet werden.
• Man kann einige Modelle von Anthropic verwenden.
• Einige Google-Modelle können verwendet werden.
• Durch eine einheitliche Schnittstelle werden die Unterschiede in der Integration auf höherer Ebene verringert.
• Modelle, die Dritte verwenden können, werden mit Service-Updates aktualisiert.
• Die Verwendung des Modells unterliegt weiterhin den Bedingungen der jeweiligen Anbieter.

BYOK verfügt über einen eigenen Schlüssel.

• Konfigurieren Sie die Anmeldeinformationen für Drittanbieter-Modelle in der Plattform.
• Der aktuelle Dokument listet OpenAI, Anthropic und Google auf.
• Beim Ausführen des Agents wird die konfigurierte Modell-ID verwendet.
• Die Kosten für Dritte werden vom jeweiligen Lieferanten berechnet.
• Es sollten spezielle Projekte sowie eingeschränkte Schlüssel verwendet werden.
• Regelmäßige Rotation und Überwachung von abweichenden Aufrufen.
• Schreiben Sie den Schlüssel nicht direkt in den Client-Code.

Fernzugriff-MCP-Tool

Maestro kann als MCP-Client mit einem über das Internet erreichbaren, entfernten MCP-Server verbunden werden, um externe Tools, Dienste und Daten aufrufen zu können. Die vorliegende Dokumentation bezieht sich auf entfernte Server; lokale MCP-Server, die nur auf einem einzigen Gerät laufen, werden nicht unterstützt.

• Verbindung zu entfernten MCP-Diensten, die über das Internet erreichbar sind.
• Verwenden Sie gängige Authentifizierungsmethoden, um Aufrufe zu schützen.
• Fügen Sie externe Tools dem Agenten-Ausführungsplan hinzu.
• Unterstützt Workflows, die mehrstufige Abläufe erfordern.
• Die Rückgabewerte der Tools können für weitere Überprüfungen verwendet werden.
• Äußere Schreibvorgänge müssen einer manuellen Genehmigung unterzogen werden.

Speichern und Wiederverwenden von Agenten

• Speichern Sie den Namen und die Beschreibung des Agents.
• Speichern von Systemanweisungen und Geschäftsgrenzen.
• Speichern von Tools und Modellkonfigurationen.
• Direkt in nachfolgenden API-Aufrufen verweisen.
• Vermeidung der wiederholten Übermittlung großer Konfigurationen.
• Es fördert die Vereinheitlichung der Team-Arbeitsabläufe.
• Bei der Anpassung der Konfiguration sollten Versionstests und Regressionstests durchgeführt werden.

Ausführungsverfolgung und Observierbarkeit

• Prüfen Sie den visuellen Ausführungsplan.
• Erfahren Sie mehr über Modelle, Tools und die Reihenfolge der Abfragen.
• Prüfen Sie die Bewertungen für die Überprüfung der einzelnen Anforderungen.
• Fehlerhafte oder von geringer Qualität sind die Schritte zur Positionierung.
• Analyse der Kosten und Ursachen für Verzögerungen.
• Vergleichen Sie verschiedene Budgetkonfigurationen.
• Erhalten Sie die notwendigen Betriebsaufzeichnungen für die Prüfung.

Unterstützte Antwortssprachen

Die API unterstützt derzeit die Ausgabe in Arabisch, Niederländisch, Englisch, Französisch, Deutsch, Hebräisch, Italienisch, Portugiesisch und Spanisch; standardmäßig wird Englisch verwendet. Chinesisch ist derzeit nicht in der offiziellen Liste enthalten.

Für welche Benutzer geeignet

• Ein AI-Entwicklerteam zur Erstellung von Unternehmenswissens-Agenten.
• Finanz- und Rechtsunternehmen, die eine hohe Genauigkeit von RAG benötigen.
• Unternehmen, die mit einer großen Anzahl von Verträgen, Berichten und technischen Dokumenten umgehen müssen.
• Entwickler, die die Vereinigung mehrerer Modellanbieter anstreben.
• Plattformteams, die die Kosten und Verzögerungen der Agenten kontrollieren müssen.
• Es wird erwartet, dass die regulierten Organisationen Aufzeichnungen über die Durchführung und Überprüfung beibehalten.
• Unternehmen, die Forschung und Analyseprozesse im Bereich KI in die Produktion einsetzen.

Typische Anwendungsszenarien

• Erstellung von Finanzanalyseberichten.
• Automatische Erstellung einer RFP-Antwort.
• Durchführung einer Due-Diligence-Prüfung bei Übernahmen.
• Überprüfen Sie das Vertragsportfolio und die Schlussklauseln.
• Analyse der Anlagebeschreibungen und finanziellen Dokumente.
• Zusammenfassung der Ergebnisse klinischer Studien.
• Prüfung technischer Probleme bei wertvollen Geräten.
• Die Anspruchselemente aus dem Patent extrahieren.
• Die Daten des alten Systems in eine standardisierte Struktur umwandeln.

Für welche Situationen es nicht wirklich geeignet ist

• Nur eine Person für ein einfaches Chat-Gespräch mit Fragen und Antworten.
• Szenarien, in denen minimale Verzögerungen angestrebt werden und keine Überprüfung erforderlich ist.
• Organisationen, die vollständig offline und lokal laufen müssen.
• Anwendungen, die eine Enumeration in reinem Chinesisch erfordern.
• Teams ohne Berechtigungen für Tools zur Verwaltung von Engineering-Fähigkeiten.
• Entwickler, die den vollständigen Quellcode von Maestro erhalten möchten.
• Projekte mit prozentualer Abrechnung und Kosten Schwankungen sind nicht akzeptabel.

Verwendung der API

• Erstellen Sie eine Maestro-Run, um eine Aufgabe auszuführen.
• Eingabe des Benutzers und explizite Anforderungen.
• Suche nach Konfigurationsdateien oder Ressourcen im Web.
• Modell festlegen oder automatische Auswahl verwenden.
• Legen Sie ein Budget von low, medium oder high fest.
• Wählen Sie die Tracking-Informationen aus, die zurückgesendet werden sollen.
• Lesen Sie die Ausgabe, die gewünschten Punkte sowie die Gesamtbewertung.

Preise und Probierlimit

Laut den Dokumenten zu AI21 wird die Plattform hauptsächlich nach der Anzahl der genutzten Tokens oder spezifischen Endpunkte abgerechnet. Neukunden erhalten einen Probemonat im Wert von 10 US-Dollar, der drei Monate gültig ist und für API, SDK sowie Playground verwendet werden kann. Nach Ablauf des Kontingents oder wenn dieser ausläuft, muss eine gültige Zahlungsmethode hinzugefügt werden.

Faktoren, die die Kosten beeinflussen

• Anzahl der Eingangs- und Ausgabetoken.
• Ausgewähltes Modell und Lieferant.
• Budgetstufe: Low, Medium oder High.
• Ausführungspfad und Anzahl der Überprüfungszyklen.
• Web-Suche, Dateisuche und Aufruf externer Tools.
• Anzahl der Versuche zur Wiederholung bei Misserfolg und Anzahl der automatischen Korrekturen.
• Kosten für Cloud- und Datendienste Dritter.

Wie man die Kosten kontrolliert

• Einfache Aufgaben beginnen standardmäßig mit einem niedrigen Budget.
• Einschränken des Suchbereichs für Dateien und der Webseiten-Domainen.
• Die Aufgaben werden gezielt an leichtere Modelle weitergeleitet.
• Strenge Überprüfungen werden nur für wichtige Anforderungen aktiviert.
• Überwachen der Verbrauchsfelder in den API-Antworten.
• Legen Sie Budgets nach Team, Anwendung und Agent fest.
• Verwenden Sie eine Stichprobenmenge, um Qualität und Einheitskosten zu vergleichen.

Tutorial zur Erstellung eines RAG-Agenten

1. Erstellen Sie ein AI21-Konto und speichern Sie den API-Schlüssel sicher.
2. Laden Sie eine kleine Anzahl autorisierter Testdokumente hoch.
3. Warten auf die automatische Analyse und Indexierung der Datei.
4. Definieren Sie die Identität des Agenten, seine Aufgaben sowie die verbotenen Bereiche.
5. Fügen Sie eine Dateisuche hinzu und begrenzen Sie die Dateien oder Tags.
6. Probleme bei der Umsetzung mit niedrigem Budget.
7. Überprüfung von Zitaten, Antworten und Überprüfungsberichten.
8. Speichern Sie den Agent und verbinden Sie ihn über die API mit der Testanwendung.

Anleitung zur Konfiguration von Anforderungen

1. Die Aufgabenziele und die Bewertungskriterien sollten getrennt aufgeführt werden.
2. Verwenden Sie für jede Anforderung einen klaren Namen.
3. Beschreiben Sie Inhalt, Format, Tonfall und Schutzmaßnahmen.
4. Vermeiden Sie gegenseitig widersprüchliche oder nicht überprüfbare Anforderungen.
5. Legen Sie ein angemessenes Budget fest und führen Sie Tests durch.
6. Prüfen Sie die Punktzahl für jede Anforderung sowie die Gründe für das Scheitern.
7. Nach Anpassung der Anforderungen oder Werkzeuge wird erneut getestet.

Anleitungen zur Anbindung von MCP-Tools

1. Überprüfen, ob der MCP-Server sicher über das Internet erreichbar ist.
2. Überprüfen Sie die Fähigkeiten der Tools, die Parameter sowie die Schreibrisiken.
3. Konfigurieren Sie eine spezielle Identität sowie eine Authentifizierung mit minimalem Berechtigungsgrad.
4. Fügen Sie den Remote-Service zu den Parametern des Maestro-Tools hinzu.
5. Verwenden Sie Lesen- und Testdaten zur Überprüfung der Aufrufe.
6. Für sensible Aktionen eine manuelle Freigabe hinzufügen.
7. Überwachen Sie die Aufrufprotokolle, Fehler und Ausnahmekosten.

Bewertung und Bereitstellungsprozess

1. Ein Datensatz mit echten Aufgaben und Standardlösungen erstellen.
2. Definieren Sie die Genauigkeit der Definitionen, die Erfüllungsrate der Anforderungen sowie die Verzögerungsindikatoren.
3. Testen Sie jeweils verschiedene Modelle und Budgetklassen.
4. Fehlerhafte Überprüfungen, Ablehnungen und fehlerhafte Toolaufrufe.
5. Berechnen Sie die Gesamtkosten für jedes zulässige Ergebnis.
6. Geringer Datenverkehr wird online gestellt, wobei eine manuelle Überprüfung beibehalten wird.
7. Ständige Überwachung von Daten-, Modell- und Aufgabendrift.

Sicherheit und Datengovernance

• Laden Sie nur autorisierte Unternehmensdaten hoch.
• Rechte für Dateien, Agenten und Projekte festlegen.
• BYOK verwendet unabhängige und widerrufbare Schlüssel.
• Verwenden Sie für Remote-Tools nur das notwendigste Berechtigungsniveau.
• Für sensible Schreibvorgänge wird eine manuelle Bestätigung eingestellt.
• Klare Festlegung der Aufbewahrungsfristen für Betriebsprotokolle und Dokumente.
• Prüfen Sie vor dem Einkauf das Trust Center sowie den Umfang des Vertrags.
• Löschen Sie die Testdaten und wechseln Sie die Zugangsdaten regelmäßig aus.

Risiko der Zuverlässigkeit des Agenten

• Auch das Validierungsmodell selbst kann falsche Entscheidungen treffen.
• Hohe Punktzahlen bedeuten nicht unbedingt, dass die Angaben vollständig richtig sind.
• Fehlende Suchebeschränkungen können die endgültige Antwort einschränken.
• Die Analyse komplexer Dokumente kann Tabellen und Kontext zerstören.
• Dritte Modelle und Tools führen zu zusätzlichen Fehlern.
• Dynamische Ausführung führt zu Schwankungen in Kosten und Verzögerungen.
• Hohe-Risiko-Aufgaben müssen weiterhin von Fachexperten geprüft werden.

Vorteile des Produkts

• Die Ausführungsroute wird zur Laufzeit dynamisch gewählt.
• Qualität, Kosten und Verzögerungen unter eine gemeinsame Steuerung bringen.
• Jeder spezifische Anforderung wird eine Bewertung sowie eventuelle Korrekturen zugeordnet.
• Unterstützung für Dateien, Webseiten und entfernte MCP-Tools.
• AI21 und Drittanbieter-Modelle können zusammengeführt werden.
• BYOK unterstützt die Verringerung der Modellblockade.
• Es werden Ausführungsdiagramme und Berichte zur strukturierten Überprüfung bereitgestellt.
• Die offiziellen Python- und TypeScript-SDKs erleichtern die Integration.

Produktbeschränkungen

• Die vollständige Maestro-Plattform ist kein Open-Source-Software.
• Hohe Budgets und mehrere Wege erhöhen die Kosten und Verzögerungen.
• Die Überprüfung kann nicht alle Faktendienste und Schlussfehler beseitigen.
• Die aktuelle Liste der Antwortsprachen enthält Chinesisch nicht.
• Der lokale MCP-Server liegt außerhalb des derzeit unterstützten Bereichs.
• Komplexe Berechtigungen und Toolaufrufe erfordern ingenieurwissenschaftliche Steuerung.
• Der Preis wird von mehreren Modellen und Dienstleistungen gemeinsam beeinflusst.
• Auf der öffentlichen Seite gibt es keine einfachen, festen Monatsgebührenpakete.
• Sensible Unternehmensdaten müssen einer zusätzlichen Konformitätsprüfung unterzogen werden.

GitHub und der Open-Source-Zustand

AI21 Labs verfügt über eine offizielle GitHub-Organisation, die Python- und TypeScript-SDKs bereitstellt. Die zugehörigen Clients werden unter der Apache 2.0-Lizenz bereitgestellt und enthalten Beispiele für Anrufe bei Maestro. Dass die SDKs open source sind, bedeutet jedoch nicht, dass auch der Quellcode für Maestros Dynamikplanungsalgorithmus, den Validierungsmechanismus sowie die Hostplattform öffentlich zugänglich ist.

Grundlegende Informationen

Empfehlungswert

Empfehlungswert: 4,6 / 5. AI21 Maestro eignet sich für Unternehmens-AI-Teams, die eine hohe Genauigkeit bei RAG-Anwendungen sowie komplexe Wissensaufgaben in der Praxis umsetzen möchten, während gleichzeitig Kosten und Verzögerungen unter Kontrolle gehalten werden müssen.

Die endgültige Auswahl sollte anhand eigener Datensätze hinsichtlich Genauigkeit, Qualität der Analyse, Zuverlässigkeit der Überprüfung, chinesischer Anforderungen sowie der tatsächlichen Kosten für jedes zulässige Ergebnis überprüft werden.

Häufige Fragen

Was ist AI21 Maestro?

Es handelt sich um ein dynamisches Planungssystem zur Erstellung, Organisation und Optimierung von Produktionsreifen RAG-Systemen sowie Wissensagenten.

Ist Maestro kostenlos?

Neue Konten erhalten einen 10-Dollar-Probemonat, der drei Monate gültig ist; danach muss nach Verbrauch bezahlt werden.

Wird Unterstützung für Drittanbieter-Modelle bereitgestellt?

Drittanbieter-Modelle, die von AI21 verwaltet werden, werden unterstützt, ebenso wie BYOK-Konfigurationen von OpenAI, Anthropic und Google.

Wird Chinesisch unterstützt?

Die derzeit öffentlich zugängliche Response-Language-Enumeration der API enthält Chinesisch nicht; andere Ausgabemöglichkeiten sollten mit echten Aufgaben getestet werden.

Wird MCP unterstützt?

Unterstützung für über das Internet erreichbare, entfernte MCP-Server – die Dokumentation unterstützt derzeit keine MCP-Server, die nur lokal laufen.

Welche Dateien können hochgeladen werden?

Unterstützt PDF, DOCX, TXT, Markdown und HTML.

Ist ein hohes Budget unbedingt genauer?

In der Regel werden die Anzahl der Pfade sowie die Anzahl der Überprüfungen erhöht, doch es kann nicht garantiert werden, dass alle Aufgaben genauer ausgeführt werden.

Ist Maestro open source?

Die Plattform ist nicht open source; die offiziellen Python- und TypeScript-SDKs werden unter der Apache 2.0-Lizenz bereitgestellt.

Eignet es sich für private Gespräche?

Es eignet sich besser für Entwickler und Unternehmens-Wissensworkflows; die Verwendung für normale Chats ist möglicherweise zu kompliziert.