Future AGI

Was ist künftige AGI?

Future AGI ist eine End-to-End-Plattform zur Erstellung, Testung, Überwachung und Verbesserung von LLM-Anwendungen sowie KI-Agenten. Sie verbindet Simulation, Bewertung, Sicherheitsmechanismen, Tracking, Gateways, Datensätze und Prompt-Optimierung zu einem einzigen Feedbackzyklus.

Die Plattform bietet sowohl gehosteten Cloud-Service als auch den öffentlich zugänglichen Quellcode für eine eigene Hosting-Lösung. Ingenieure, Produktmanager und Fachexperten können in einem und demselben Projekt Qualität, Kosten, Verzögerungen, Fehler sowie manuelle Annotationen einsehen.

Eine kurze Beschreibung

Future AGI hilft Teams dabei, KI-Agenten vor dem Go-Live zu simulieren, nach dem Go-Live zu überwachen und zu bewerten, sowie Anweisungen und Agentenprozesse kontinuierlich mit Echtzeit-Schutzmechanismen und Produktionsfeedback anzupassen.

Sechs Produktmodule

Simulation von KI-Agenten

Simulate ermöglicht es, mit vorgegebenen oder benutzerdefinierten Charakteren mehrere Runden an Text- und Sprachgesprächen vor dem Online-Gang durchzuführen. Die Szenarien können durch Skripte, Datensätze oder Graphenstrukturen definiert werden, wobei Transkripte, Vergleiche der Gespräche sowie Ergebnistreiber gespeichert werden.

Wofür eignet sich Simulation zur Tests?

• Der vollständige Ablauf für normale Benutzer von der Stellung einer Frage bis zur Erledigung der Aufgabe.
• Unklarheiten, Widersprüche, Überschreitung von Befugnissen und Eingabe von Hinweisen.
• Fehler bei den Tools, Zeitüberschreitung, wiederholte Aufrufe und fehlende Teildaten.
• Personen mit unterschiedlichen Sprachen, Tonfallen, Hintergründen und Wissensständen.
• Störungen in der Sprachübertragung, Stille, Akzente und Erkennungsfehler.
• Memorierung, Zustand und Ziele in langen Sitzungen verschleieren sich.

Mehrfachtyp-AI-Bewertung

Evaluate unterstützt heuristische Indikatoren, Code-Bewertungen, LLM-as-Judge sowie Agenten zur Bewertung. In den öffentlichen Repositorien sind über 50 Indikatoren aufgeführt, darunter Faktengrundlage, Halluzinationen, Richtigkeit der Werkzeugnutzung, persönliche Informationen und Tonfall.

Vergleich der Bewertungsmethoden

Produktionsverfolgung und Überwachbarkeit

Observe nutzt OpenTelemetry zur Erfassung von LLM- und Agenten-Tracking-Daten und zeigt Spannungsdiagramme, Sessions, Endbenutzer, Verzögerungen, Token sowie Kosten an. Das System unterstützt 11 Spanntypen, über 70 Filterbedingungen sowie eine Volltextsuche.

TraceAI-Integration

TraceAI bietet automatische Instrumentierung für mehr als 50 AI-Frameworks, darunter LangChain, LangGraph, LlamaIndex, CrewAI, AutoGen, DSPy usw. Es gibt entsprechende Anbindungen für Python, TypeScript, Java und C#.

Echtzeit-Schutzzäune Protect

Protect kann personenbezogene Informationen, Schlüssel, Jailbreaks, Prompt-Injection-Angriffe, Schadcode sowie andere unsichere Inhalte erkennen. 15 Regeln sind dauerhaft kostenlos, während Protect mit Machine Learning nach AI-Credits abgerechnet wird.

Betriebsmodus des Schutzzäuns

Agent Command Center

Das Command Center ist ein LLM-Gateway, das mit der OpenAI-Schnittstelle kompatibel ist und den Datenverkehr zwischen mehr als 100 Modellanbietern leiten kann. Es bietet automatische Fehlerübernahme, Wiederholungsversuche, virtuelle Schlüssel, Budgetkontrolle, Bandbreitenbegrenzung, Kostenverfolgung sowie präzises oder semantisches Caching.

Probleme, die ein Gateway lösen kann

• Zentrale Verwaltung der Schlüssel und Anfragen verschiedener Modellanbieter.
• Routen nach Verzögerung, Kosten, Gewicht oder Verfügbarkeit.
• Bei Ausfall des Anbieters erfolgt ein automatischer Umstieg und erneuter Versuch.
• Durch Caching werden wiederholte Aufrufe und Modellkosten reduziert.
• Legen Sie Budgets für Organisationen, Teams, Benutzer und virtuelle Schlüssel fest.
• Erfüllen Sie Echtzeit-Schutzmaßnahmen im Anfrage- oder Antwortpfad.

Datensätze, Experimente und manuelle Annotationen

Die Plattform unterstützt die Erstellung von Datensätzen in Form von manuellen Eingaben, CSV-Dateien, PDF-Dateien, über Hugging Face sowie mithilfe von SDKs. Es stehen 14 verschiedene Spaltenarten zur Verfügung. Es gibt keine Beschränkungen bezüglich der Anzahl der Datensätze und Experimente. Die Datensätze sowie die dazugehörigen Annotationen werden in allen Cloud-Lösungen dauerhaft gespeichert.

Die kostenlosen und nach Verbrauch berechneten Pakete bieten 3 Markierungskolonnen, Boost bietet 10, während die Pakete Scale und höher keine Beschränkungen haben. Für die Markierungen sind Zahlen, Texte, Kategorien, Sterne sowie „Gefällt mir“/„Nicht gefallen“ möglich.

Prompt-Wörter und Agent Playground

Der Prompt-Modul unterstützt Vorlagen, Versionen, Tags und Ordner. Prompt Playground kann mit den integrierten Modell-Schlüsseln kostenlos ausgeführt werden. Agent Playground bietet die Möglichkeit zur Erstellung visualisierter Diagramme, zum Aufrufen von Tools sowie zur Überprüfung der Ausgabeformatierung.

Falcon AI

Falcon AI kann Tracking und Bewertung, Clusterungsfehler, Erstellung von Erkenntnissen, automatische Beschriftung sowie Leistungsberichte analysieren. Es teilt sich monatlich 2.000 kostenlose AI-Credits mit anderen hostbasierten AI-Funktionen.

Anweisungen und Optimierung von Agenten

Optimize kann die Ergebnisse der Produktionsüberwachung und -bewertung zur Verbesserung der Prompte nutzen und Algorithmen wie GEPA, PromptWizard, ProTeGi, Bayesian, Meta-Prompt und Random bereitstellen. Die verbesserten Versionen müssen dennoch auf unabhängigen Testdatensätzen überprüft werden.

Erstellung des ersten Tracking-Tutorials

1. Registrieren Sie sich bei Cloud oder bereitstellen Sie eigene Self-Hosted-Instanzen und erstellen Sie ein Projekt.
2. Wählen Sie ein Splicing-Paket für Python, TypeScript, Java oder C#.
3. Konfigurieren Sie den Projektnamen, die Endpunkte sowie die sicher gespeicherten Authentifizierungsdaten.
4. Aktivieren Sie für das verwendete Modell oder Framework den entsprechenden Instrumentor.
5. Führen Sie eine Testanfrage aus und überprüfen Sie den Spannungsgraphen, die Token sowie die Verzögerungen.
6. Hinzufügen von Geschäftsattributen wie Benutzern, Sitzungen, Versionen und Umgebungen.
7. Konfigurieren von Fehlersortierung, Dashboards und Alarmen.

Erstellen eines Bewertungstrainings

1. Ordnen Sie die repräsentativen Eingaben, die Standardlösungen und die Geschäftsbedingungen zu einem Datensatz zusammen.
2. Zuerst werden die Anforderungen an die Determiniertheit mit regulären Ausdrücken oder heuristischen Indikatoren überprüft.
3. Erstellen Sie klare Skalen für die Qualitätsmessung sowie Beispiele für Misserfolge.
4. Wählen Sie entweder das BYOK-Modell für die Bewertung oder eine verwaltete Turing-Bewertung.
5. Fügen Sie Werkzeuge, RAG und einen Agenten zur fehlerhaften Lokalisierung von Hinweisen hinzu.
6. Die automatischen Punktzahlen und Schwellenwerte werden mit manuell annotierten Beispielen kalibriert.
7. Fügen Sie die wichtigsten Bewertungen zur kontinuierlichen Integration sowie zur Stichprobenprüfung in der Produktion hinzu.

Anleitung zur Einrichtung von Gateway und Schutzzäunen

1. Fügen Sie einen Modellanbieter hinzu und erstellen Sie eine virtuelle Schlüssel mit minimalen Berechtigungen.
2. Konfigurieren Sie das Hauptmodell, das Ersatzmodell, die Wiederholung und die Zeitüberschreitung.
3. Wählen Sie den Caching-Backend aus und bestimmen Sie die sensiblen Anfragen, die nicht gekacht werden dürfen.
4. Aktivieren Sie die Schutzmaßnahmen für persönliche Informationen, Schlüssel und Regeln zur Eingabe von Hinweisen.
5. Zuerst werden mit dem Monitor Fehlalarme und übersehene Meldungen beobachtet, anschließend wird ein Enforce-Threshold festgelegt.
6. Legen Sie Budgets und Beschränkungen nach Organisation, Team, Benutzer und Schlüssel fest.
7. Überwachen von Kosten, Fehlern, Cache-Hits und Schutzmaßnahmen-Zeiten.

Docker-Self-Hosting-Tutorial

1. Vorbereiten Sie den Docker Engine oder Docker Desktop sowie Compose.
2. Klonen Sie den offiziellen future-agi-Repository und lesen Sie die Installations- und Sicherheitshinweise.
3. Verwenden Sie das Installationsskript, um die Konfiguration zu erstellen und das veröffentlichte Image herunterzuladen.
4. Erstellen Sie eine eigenständige Schlüssel für die Produktionsumgebung und fixieren Sie die Image-Version.
5. Starten Sie Komponenten wie PostgreSQL, ClickHouse, Redis, RabbitMQ und Temporal.
6. Beschränken Sie die Netzwerkeingänge, aktivieren Sie Backups und konfigurieren Sie die Überwachung.
7. Zuerst sollten die Upgrades, Wiederherstellungen und Telemetrie-Einstellungen in einer nicht-produktiven Umgebung getestet werden.

Für welche Benutzer geeignet

• AI-Anwendungsingenieur: Überwachung von Modellen, Tools und Agentenaufrufen.
• Bewertungsteam: Einführung von offline-, kontinuierlichen und produktionsreifen Qualitätsprüfungen.
• RAG-Team: Überprüfung von Faktengrundlagen, Illusionen und Suchproblemen.
• Team für Sprachintelligenz: Simulation von Personen, Szenarien und Gesprächen.
• Sicherheitsteam: Konfiguration persönlicher Informationen, Injectionsschutz und Inhaltsfilter.
• Plattform-Engineering-Team: Zentrale Steuerung von Routing, Schlüsseln, Caching und Kosten.
• Produkt- und Bereichsexperten: Beteiligung an der Überprüfung unter Verwendung von Datensätzen und annotierten Queues.
• Geregelt Unternehmen: Kontrolle über Standort und Infrastruktur durch Selbstverwaltung.

Typische Anwendungsszenarien

• Simulieren Sie vor dem Go-Live normale und angegriffene Gespräche mit dem intelligenten Kundenservice-Agenten.
• Ständig prüfen, ob die RAG-Antworten begründet sind und ob es zu Halluzinationen kommt.
• Verfolgen von Verzögerungen, Kosten und Fehlern für jedes Werkzeug in mehreren Agenten.
• Fehlerübertragung zwischen mehreren Modellanbietern über ein Gateway.
• Persönliche Informationen sowie Angriffe durch Eingabe von Befehlen werden vor der Erstellung einer Antwort blockiert.
• Aus der Fehlerverfolgung werden ein Annotationsspeicher und ein Regressionssatz erzeugt.
• Vergleichen Sie verschiedene Modelle, Prompts und Agenten-Versionen.
• Innerhalb des Unternehmensnetzwerks wird eine vollständige Bewertungs- und Überwachungsplattform implementiert.

Vorteile des Produkts

• Umfasst Simulation, Bewertung, Tracking, Schutzmaßnahmen, Gateways und die Optimierung der gesamten Verbindungsstrecke.
• Cloud bietet eine hohe kostenlose Kapazität sowie keine Beschränkungen bezüglich der Anzahl der Teammitglieder und Projekte.
• Die Kosten für heuristische Bewertungen, BYOK-Modellbewertungen sowie Regelungsplattformen betragen 0.
• OpenTelemetry und kompatible OpenAI-Schnittstellen verringern die Anschlussbeschränkungen.
• Unterstützt mehr als 100 Modellanbieter und mehr als 50 AI-Frameworks.
• Die Kernplattform basiert auf Apache 2.0 und kann mit Docker selbst gehostet werden.
• Datensätze und Annotationsen werden in allen Cloud-Lösungen dauerhaft gespeichert.
• Es wird getrennt nach Speicher, Creditpunkten, Gateway, Cache und Simulation abgerechnet.

Einsatzbeschränkungen und Hinweise

• Der Open-Source-Repository ist derzeit als Early-Test-Version „Nightly“ gekennzeichnet; eine stabile Version wurde noch nicht veröffentlicht.
• Self-Hosting umfasst mehrere Datenbanken, Warteschlangen und laufende Komponenten, wodurch die Betriebskosten nicht gering sind.
• Offizielle Unterstützung für Kubernetes und Helm ist weiterhin im Roadmap enthalten.
• Der AWS Marketplace ist weiterhin als bald verfügbar markiert.
• Automatische Bewertungen und Modellrichter können Fehler aufweisen und müssen mit manuellen Beispielen kalibriert werden.
• Schutzzäune führen zu Fehlalarmen und zu übersehenen Fällen; bei Entscheidungen mit hohem Risiko darf man sich nicht ausschließlich auf automatische Blockierungen verlassen.
• Dass die Gebühren für die BYOK-Plattform 0 sind, bedeutet nicht, dass der Modellanbieter kostenlos genutzt werden kann.
• Die Tracking-Daten der kostenlosen Cloud-Lösung sowie der pay-as-you-go-Lösung werden nur 30 Tage lang aufbewahrt.
• Die dauerhafte Speicherung von Datensätzen kann die Speicherkosten erhöhen und erfordert außerdem das aktive Löschen sensibler Daten.
• Selbstverwaltete Lösungen beinhalten standardmäßig die Bereitstellung von Telemetriedaten; eine vollständige Abschirmung ohne externe Verbindungen erfordert eine Blockierung an den Netzwerkgrenzen.

Kostenloser Cloud-Plan

Tracking und Schwellenpreise für Gateways

Plattform-Zusatzpakete

Das Datum der Preisüberprüfung ist der 22. August 2026. Bei dem Pay-as-you-go-Modell können Benachrichtigungen bei Rechnungsausstellung sowie feste Obergrenzen festgelegt werden. Im kostenlosen Modell wird die Leistung nach Erreichen der Obergrenze eingestellt, es entstehen keine zusätzlichen Rechnungen.

Kosten für selbstverwaltete Lösungen

Bei Open-Source-Hosting fallen keine Cloud-Abonnementkosten an, doch es sind Kosten für Rechenserver, Datenbanken, Objektspeicher, Backups, Updates, Überwachung, Sicherheit sowie Personal erforderlich. Der Einsatz externer Modelle und Sicherheitsdienstleister verursacht weiterhin zusätzliche Kosten.

Unterstützte Sprachen, SDKs und Integration

Open Source, Self-Hosting und Lizenzen

Die vollständige Kernplattform von Future AGI wird unter der Apache License 2.0 bereitgestellt. Es sind Prüfwerkzeuge, Prompts, Tracking-Funktionen sowie Gateway-Code verfügbar, und die Plattform kann über Docker Compose selbst gehostet werden. In dem Repository ist außerdem LICENSE-EE enthalten; vor der Nutzung der Unternehmensfunktionen sollten die Verzeichniss Grenzen überprüft werden.

Offizielle Repositorien wie futureagi-sdk und Agent Command Center SDK verwenden ebenfalls Apache 2.0; einige Zusatzpakete könnten Apache oder MIT verwenden. Jedes einzelne Softwarepaket muss jedoch seine eigene Lizenzdatei überprüfen.

Einsatzoptionen

Telemetrie und Privatsphäre

Bei selbstverwalteter Konfiguration werden standardmäßig einmal eine Registrierung sowie periodische Heartbeat-Telemetriedaten gesendet. Dazu können der Instanz-ID, die Version, der Bereitstellungsart, die E-Mail-Adresse des Administrators sowie der Domainname gehören. Zudem werden anonymisierte Zusammenfassungen der Nutzungsmenge übermittelt. Tracking-Daten, Prompts oder API-Schlüssel werden hingegen nicht gesendet.

Der periodische Heartbeat kann über die Umgebungskonfiguration deaktiviert werden, doch selbst nach Deaktivierung wird eine minimale Statistik ohne E-Mail-Adresse gesendet. Für Umgebungen, in denen keinerlei Aufrufe nach außen möglich sein sollen, muss dies an den Netzwerkgrenzen blockiert werden.

Cloud-Privatsphäre und Löschung

Die Datenschutzerklärung listet Namen, E-Mail-Adressen, Organisationen, Telefonnummern sowie IP-Adressen, Browser, besuchte Seiten und Diagnosedaten auf. Die Informationen werden für Dienstleistungen, Support, Analyse, Sicherheit und Benachrichtigungen verwendet; personenbezogene Daten werden nicht verkauft.

Benutzer können den Zugriff, die Korrektur, Löschung, Einschränkung, Widerspruch sowie die Mitnahme von Daten beantragen. Anfragen zur Löschung werden innerhalb von 30 Tagen bearbeitet. Rechtliche Gründe, Streitigkeiten und anonyme Statistiken können Ausnahmen darstellen.

Grundlegende Informationen

Empfehlungswert

Empfehlungswert: 4,7 / 5. Future AGI bringt Bewertung, Überwachbarkeit, Schutzmechanismen, Gateways, Simulation und Optimierung in eine offene Plattform zusammen. Die kostenlosen Zugriffsrechte sowie die unbegrenzte Anzahl an Nutzern sind für Entwicklerteams sehr attraktiv.

Das Hauptrisiko besteht darin, dass der vollständige Open-Source-Repository noch in der Nightly-Phase ist, die self-hosted-Architektur komplex ist und automatische Bewertungen sowie Schutzmechanismen ständig angepasst werden müssen. In der Produktion müssen feste Versionen verwendet werden, und es müssen Wiederherstellungs-, Sicherheits- sowie Kapazitätsprüfungen durchgeführt werden.

Häufige Fragen

Ist Future AGI kostenlos?

Es gibt kostenlose Cloud-Lösungen ohne Kreditkarte, die monatlich 50 GB, 2.000 AI-Credits, 100.000 Gateway-Anfragen, 1 Million Text-Simulationstoken sowie 60 Minuten Sprachsimulation bieten.

Wird eine Gebühr berechnet, wenn der kostenlose Betrag aufgebraucht ist?

Der kostenlose Plan wird vorübergehend deaktiviert, es werden keine Rechnungen erstellt. Erst nach Hinzufügen einer Kreditkarte und Aktivierung des Pay-as-you-go-Modus wird weiterhin zum öffentlichen Übernachtungspreis abgerechnet.

Wird die zukünftige AGI offen zugänglich sein?

Die Kernplattform ist bereits unter der Apache 2.0-Lizenz freigegeben, wird aber derzeit als „Nightly“ für frühe Tests bezeichnet; das Unternehmenskatalog kann weiterhin durch die LICENSE-EE-Beschränkungen eingeschränkt sein.

Kann man es selbst hosten?

Die gesamte Infrastruktur kann über Docker Compose bereitgestellt werden, oder sie kann auch auf Cloud-VMs laufen. Offizielle Unterstützung für Kubernetes und Helm ist weiterhin im Entwicklungsplan enthalten.

Welche SDKs werden angeboten?

Es werden Funktionen zur Überwachung in Python, TypeScript, Java und C# bereitgestellt, sowie Python- oder TypeScript-Bibliotheken für Bewertungen, Plattformen, Simulationen und Gateways.

Welche Bewertungen werden unterstützt?

Es werden heuristische Ansätze, Code, LLM-as-Judge, maschinelles Lernen, Agenten zur Bewertung von Agenten sowie manuelle Annotationen unterstützt. Die offene Ökosysteme bieten mehr als 50 Indikatoren.

Was bedeutet BYOK?

Der Benutzer stellt seinen eigenen Modell-Schlüssel bereit. Future AGI erhebt keine Gebühren für die Aufrufe der Plattform durch den Modellanbieter, doch der Modellanbieter berechnet weiterhin Gebühren entsprechend dem tatsächlichen Verbrauch.

Gibt es eine Gebühr für die Regelungsschutzzäune?

15 eingebaute Regelbasierte Schutzmechanismen sind dauerhaft kostenlos. Für Machine Learning Protect und gehostete Bewertungen werden gemeinsame AI-Credits verwendet.

Wird Sprach-Intelligenz unterstützt?

Unterstützung für Text- und Sprachsimulation – das kostenlose Paket beinhaltet 60 Minuten Sprachnutzung pro Monat; für die darüber hinausgehenden Minuten wird 0,08 US-Dollar pro Minute berechnet.

Wie lange werden die Daten gespeichert?

Die Verfolgung im Modus Free und PAYG wird 30 Tage lang aufbewahrt, bei Boost sind es 90 Tage, bei Scale ein Jahr – bei Enterprise ist dies anpassbar; Datensätze und Anmerkungen werden dauerhaft gespeichert.

Wird HIPAA und SSO angeboten?

Scale bietet HIPAA BAA, SAML SSO und SCIM an, Boost bietet SOC 2 Type II und OAuth SSO, während Enterprise Funktionen wie ABAC hinzufügt.

Gibt es MCP-Server?

Ja, die Future AGI-Plattform kann mit Dokumenten über kompatible Clients wie Cursor oder Claude Code verbunden werden.

Sendet self-hosted überhaupt keine Telemetriedaten?

Es ist nicht standardmäßig vorgesehen, dass keine Telemetriedaten übertragen werden. Der periodische Herzschlag kann deaktiviert werden – doch es erfolgt dennoch eine Mindestanzahl an Statistiken. Eine vollständige Stille ist nur möglich, wenn auf Netzwerkebene die Übertragung blockiert wird.

Passt es für chinesische Teams?

Technische Schnittstellen und Self-Hosting eignen sich für globale Entwicklerteams, doch die Dokumentation ist hauptsächlich auf Englisch. Bei der Einhaltung chinesischer Datenschutzvorschriften muss ein geeigneter Standort ausgewählt und eine rechtliche Prüfung durchgeführt werden.

Zusammenfassung

Future AGI eignet sich für Teams, die die Qualität von KI-Agenten durch einen einheitlichen Datenkreislauf verbessern möchten – es gibt entsprechende Module für Simulationsprozesse vor dem Einsatz, Offline-Bewertungen sowie für die Überwachung in der Produktion und die Optimierung von Schutzmechanismen und Anweisungen.

Kleine Teams können zunächst kostenlose Cloud- und BYOK-Tests nutzen, während regulierte oder datensensible Organisationen eine Self-Hosting-Lösung prüfen können. Im Produktivumfeld müssen auf die nightly-Phase, die Grenzen der Unternehmenslizenzen, Telemetrie, Datenerhaltung sowie den Betrieb komplexer Komponenten geachtet werden.