Eden AI

Was ist Eden AI?

Eden AI ist ein von einem französischen Unternehmen bereitgestelltes einheitliches AI-API-Gateway, das Entwicklern dabei hilft, über ein einziges Konto, eine Reihe von Schlüsseln sowie eine Reihe von Schnittstellen mehrere Drittanbieter für KI-Dienste anzurufen. Es löst hauptsächlich Probleme wie wiederholte Anmeldungen, getrennte Rechnungen, Wechsel der verwendeten Modelle, Fehlertoleranz sowie Überwachung des Datenaufkommens.

Eden AI ist an sich kein Anbieter großer Grundmodellien, sondern ein technischer Vermittler und Regulierungsorgan. Die Qualität der Modelle, ihre Verfügbarkeit sowie die Verarbeitung und Ausgabe der Daten werden weiterhin vom gewählten Anbieter beeinflusst.

Aktuelles Produktangebot

Laut der aktuellen V3-Dokumentation stehen mehr als 500 Modelle sowie über 50 Anbieter zur Verfügung – sie umfassen sowohl allgemeine Sprachmodelle als auch Experten-AI-Fähigkeiten. Die Liste der Modelle wird ständig aktualisiert; auf einigen neu hinzugefügten Seiten werden höhere Zahlen angegeben. Bei der Auswahl sollte daher immer die aktuelle Liste der Modelle konsultiert werden.

Einheitliche Schnittstellen für V3-Kategorien

V3 organisiert die wichtigsten Funktionen in eine Chat-Schnittstelle und eine Universal AI-Schnittstelle. Die Chat-Schnittstelle ist kompatibel mit dem gängigen Anfrageformat von OpenAI Chat Completions, während die Schnittstelle für Expertenmodelle Aufgaben wie OCR, Textverarbeitung, Bildverarbeitung, Audiodurchsprechung und Übersetzung vereint.

Alle Anfragen müssen mit einer Bearer-API-Schlüssel authentifiziert werden. Der Schlüssel sollte nur auf der Serverseite oder in einem kontrollierten Schlüsselsystem gespeichert werden und darf nicht in Webseiten, Mobile-App-Pakete oder öffentliche Repositorien eingebettet werden.

Modellwechsel, intelligente Routenplanung und Fallback

Entwickler können explizit Lieferanten und Modelle auswählen, oder sie können eine intelligente Routierung nutzen, damit Eden AI auf der Grundlage von Qualität, Kosten, Verzögerungen sowie dem Zustand des Lieferanten das passende Modell auswählt. Die Liste der möglichen Optionen kann eingeschränkt werden, um zu verhindern, dass Modelle ausgewählt werden, die nicht den internen Richtlinien entsprechen.

• Explizite Modelle eignen sich für Szenarien, in denen ein festes Verhalten, eine Testbasis sowie Wiederholbarkeit erforderlich sind.
• Intelligente Routing-Methoden eignen sich, um ein dynamisches Gleichgewicht zwischen Qualität, Kosten und Verzögerung zu finden.
• Der Pool der Kandidaten darf nur Modelle enthalten, die die Prüfungen in den Bereichen Recht, Sicherheit und Qualität bestanden haben.
• Fallback versucht nacheinander, auf alternative Modelle zurückzugreifen, wenn das Hauptmodell fehlschlägt, begrenzt ist oder nicht verfügbar ist.
• Der Rückgriff auf Modell der Experten erfordert, dass der Hauptlieferant und der Ersatzlieferant dieselbe Funktion unterstützen.
• Die Ausgabestruktur, die Inhaltspolitik und die Abrechnungseinheiten können bei verschiedenen Modellen weiterhin unterschiedlich sein.

Automatische Rückfallmechanismen erhöhen die Verfügbarkeit, können jedoch den Sprachstil, die Genauigkeit, den regionalen Bezug sowie die Kosten verändern. Produktionssysteme sollten den letztendlich verwendeten Lieferanten, das Modell, die Kosten sowie den Rückfallweg aufzeichnen.

Einheitliche Rechnungen und Kostenüberwachung

Eden AI bietet verschiedenen Anbietern eine einheitliche Ansicht der Kontostände, Rechnungen und Verbrauchswerte. Jede API-Antwort enthält außerdem ein Feld mit den Kosten in US-Dollar. Das Team kann mehrere API-Schlüssel erstellen, um die Kosten für Tests, die Produktivumgebung sowie für Kunden oder Projekte voneinander zu trennen.

• Der Modellkatalog zeigt die Preise der Lieferanten an und wird bei Änderungen durch die Lieferanten aktualisiert.
• Das Feld für die Reaktionskosten hilft dabei, Kostendaten pro Anfrage, pro Benutzer und pro Funktion zu ermitteln.
• Automatische Aufladung ermöglicht den Kauf von Guthaben, wenn der Saldo unter dem Schwellenwert liegt.
• Es ist möglich, eine Obergrenze für die monatliche automatische Aufladung festzulegen, um das Risiko unkontrollierter Abziehungen zu verringern.
• Unterliegende Anbieter können unterschiedliche Einheiten wie Token, Bilder, Minuten, Seiten oder Anfragen verwenden.
• Cache, Wiederholungsversuche und Fallbacks können die tatsächlichen Kosten verändern und sollten bei Belastungstests berücksichtigt werden.

Entwicklung des Anbindungsprozesses

1. Registrieren Sie ein Konto und erstellen Sie in der Konsole eine API-Key für die Entwicklungsumgebung.
2. Suchen Sie im Modell- und Funktionsverzeichnis nach Filtermöglichkeiten für Leistung, Region, Preis und Eingabebeschränkungen.
3. Wählen Sie für Chat-Aufgaben eine kompatible Schnittstelle aus und für Aufgaben wie OCR Universal AI.
4. Konfigurieren Sie die Basisadresse und die Bearer-Authentifizierung auf der Serverseite – die Schlüssel werden nicht auf der Clientseite preisgegeben.
5. Senden Sie zunächst eine minimale Anfrage mit einem einfachen, günstigen Modell, um den Status, die Ausgabe sowie die Cost-Felder zu überprüfen.
6. Es werden separate Verarbeitungslogiken für Zeitüberschreitungen, Lieferantenfehler, Bandbreitenbeschränkungen und unzureichende Kontostände erstellt.
7. Fügen Sie getestete Fallback-Lösungen hinzu und legen Sie Schwellenwerte für die Qualität und die Kosten nach dem Rückfall fest.
8. Erstellung von separaten Schlüsseln und Budgetüberwachung für Produktion, Testing und verschiedene Kunden.
9. Gemäß den Einstellungen zur Datenklassifizierung werden zulässige Lieferanten, Modelle und Verarbeitungsregionen festgelegt.
10. Vor der Veröffentlichung müssen DPA, Bedingungen für Drittanbieter sowie Prozesse für das Protokollieren und Löschung überprüft werden.

OpenAI-kompatible Anbindung

Die Chat-Schnittstelle verwendet ein von OpenAI kompatibles Anfragemodell. Bestehende Tools können in der Regel durch Ersetzung der Basisadresse, des API-Schlüssels und des Modellnamens integriert werden. Die Kompatibilität bezieht sich hauptsächlich auf die ähnliche Struktur der Aufrufe; es wird jedoch nicht garantiert, dass jeder Anbieter genau dieselben Parameter, Tool-Aufrufe oder Flussverhaltensweisen unterstützt.

• Erst die Client-Version festlegen und den minimalen Chat-Anfrage ausführen.
• Testen von Systemnachrichten, strukturiertem Ausgabeformat, Toolaufrufen, Bildern und fließenden Antworten.
• Logik zur Herabstufung oder Löschung von Parametereinstellungen, die von einem bestimmten Modell nicht unterstützt werden.
• Gehen Sie nicht davon aus, dass der Modellname, die Länge des Kontexts und der Preis dauerhaft konstant bleiben.
• Protokollieren von Fehlern bei Netzwerkanfragen sowie des internen Lieferantenfehlerzustands.
• Für die Schlüsselergebnisse werden Modellvalidierung, Inhaltssicherung und manuelle Überprüfung durchgeführt.

Preise und Pakete

Die Selbstbedienungsversion fügt keinen Aufschlag auf den Einzelpreis des Anbieters hinzu, sondern erhebt bei der Abrechnung des Kaufbetrags eine Plattformgebühr von 5,5 %; die Zahlungen werden über Stripe abgewickelt. Der Einzelpreis sowie die Abrechnungseinheit variieren je nach Anbieter, wobei die endgültigen Kosten vom Modellkatalog, dem Feld „Cost“ sowie der Abrechnungsseite bestimmt werden.

Die Dienstleistung kann nach Verbrauch, im Voraus oder als Abonnement genutzt werden. Sofern nicht anders angegeben, sind die Zahlungen in der Regel nicht rückerstattbar. Bevor die automatische Aufladung aktiviert wird, sollten Schwellenwerte, monatliche Obergrenzen sowie Benachrichtigungen bei Rechnungsstellung festgelegt werden.

Geschwindigkeitsbeschränkungen und Kapazität

Die aktuelle Preisübersicht gibt an, dass die Self-Service-Version 10 Anfragen pro Sekunde ermöglicht, während in den detaillierten Angaben auf derselben Seite standardmäßig 7 Anfragen pro Sekunde angegeben sind; eine Erhöhung auf 15 Anfragen pro Sekunde ist möglich. Die offiziellen Angaben sind nicht immer einheitlich – es sollten die Angaben auf dem Konto, die Unterstützung durch den Technischen Support oder der Vertrag als Maßstab herangezogen werden.

• Untereliegende Anbieter können strengere eigene Geschwindigkeitsbeschränkungen festlegen als die Konto-Einschränkungen von Eden AI.
• Die Beschränkungen bezüglich Konkurrenz, Tokens pro Minute, Dateigröße sowie asynchrone Aufgaben können je nach Funktion variieren.
• Fallback kann nicht garantieren, alle gemeinsamen Kapazitätsprobleme der Lieferanten zu umgehen.
• Bei der Unternehmensversion können höhere Geschwindigkeitslimits sowie Mengenrabatte vereinbart werden.
• Die Belastungstests sollten Spitzenwerte, Rückfallketten, Zeitüberschreitungen, Wiederholungsversuche sowie Kostenobergrenzen abdecken.

Datenfluss und Standardreservierung

Die Datenschutzrichtlinien von Eden AI sowie die DPA besagen, dass Prompte, Ausgaben sowie Kundendaten standardmäßig nicht gespeichert werden. Sie werden lediglich vorübergehend verarbeitet, um Anfragen zu leiten, wobei nur begrenzte Metadaten zur Abrechnung, Sicherheit und Betriebsführung aufbewahrt werden. Die optional verfügbare Protokollierungsfunktion ändert den Standardzustand.

• Zu den Kontodaten können Name, E-Mail-Adresse, Unternehmen sowie Zahlungsinformationen gehören.
• Die Verwendung von Metadaten kann Zeit, Anfragenanzahl, Modell, Token und Kosten umfassen.
• Kundendaten können Texte, Dateien, Bilder, Audiodateien und Modellausgaben enthalten.
• Die Standard-Einstellung, bei der kein Inhalt gespeichert wird, bedeutet nicht, dass alle Metadaten sofort gelöscht werden.
• Die Funktion zur Wiederverwendung von Dateien erfordert eine persistente Identifizierung; vor der Verwendung sollten die konkreten Speicher- und Löschvorgänge überprüft werden.
• Eden AI gibt an, weder Kundendaten zu verkaufen noch Kundeneinheiten zur Schulung von Modellen zu verwenden.

Die Sicherheitsseite gibt an, dass Anfragen, hochgeladene Dateien sowie Ausgabebeschreibungen standardmäßig ohne Speicherung behandelt werden. Es wird außerdem erklärt, dass bei der Verwendung des Modus „Innerhalb von 24 Stunden löschen“ bestimmte Vorgaben gelten. Unternehmen sollten in Verträgen, DPA-Verpflichtungen sowie in der tatsächlichen Konfiguration klar definieren, was unter „keine Speicherung“ zu verstehen ist, welche Ausnahmen gelten und wie Beweismittel gelöscht werden sollen.

Die Lieferanten auf der untersten Ebene müssen weiterhin einzeln bewertet werden.

Eden AI sendet die Anfragen an den vom Benutzer ausgewählten Anbieter von Drittanbietermodellen. Die DPA legt außerdem fest, dass diese Anbieter als Unterauftragsverarbeiter Daten verarbeiten können. Die Standardgarantien und Sicherheitsversprechen des Eden AI-Gateways decken nicht automatisch das gesamte Verhalten jedes zugrunde liegenden Anbieters ab.

• Überprüfen Sie, ob der Lieferant Hinweise, Ausgaben oder Protokolle zur Überwachung von Missbrauch speichert.
• Bestätigung des Datenverarbeitungsgebiets und der erforderlichen Mechanismen für die grenzüberschreitende Übertragung.
• Überprüfen Sie, ob der Lieferant Daten zur Verbesserung oder zum Trainieren von Modellen verwendet.
• Erfahren Sie mehr über die Inhaltspolitik, die Urheberrechtsbedingungen und die Szenarien für eingeschränkte Nutzung.
• Intelligente Routen und Fallback werden nur in der überprüften Kandidatenliste aktiviert.
• Sensible Daten sollten vor dem Eingang in das Modell minimiert, entpersonalisiert und durch Zugriffskontrollen geschützt werden.

Sicherheit, Konformität und Governance

Die Sicherheitsseite von Eden AI weist derzeit die Zertifizierungen SOC 2 und ISO 27001 auf und bietet Dokumente zum GDPR sowie einen DPA. Zu den Unternehmensfunktionen gehören regionale Endpunkte, Kontrolle von Lieferanten und Modellen, Schutz der Eingaben, Überprüfung der Ausgaben, Richtlinienbasierte Routing-Logik sowie zentrale Sichtbarkeit.

Bedingungen, Leistungen und Verantwortlichkeiten

Die Bedingungen legen klar fest, dass Eden AI weder die zugrunde liegenden Modelle besitzt noch betreibt, und auch keine Kontrolle über ihre Verfügbarkeit, Leistung, Ausgaben oder die Datenverarbeitungsmethoden hat. Die Kunden müssen sich an die geltenden Bedingungen des gewählten Anbieters halten und für ihre eigenen Daten, Anwendungen sowie den Endzweck verantwortlich sein.

• Die Ausgaben der KI können fehlerhaft, unvollständig, schädlich oder Rechte Dritter verletzen.
• Medizinische, rechtliche, finanzielle und Sicherheitsentscheidungen dürfen sich nicht allein auf die Ausgaben von Modellen stützen.
• Der Kunde muss eine rechtmäßige Grundlage haben, um personenbezogene Daten zu verarbeiten und zu übertragen.
• Die Lizenz für Produkte und Dienstleistungen gewährt keine Zugriffsrechte auf die Gewichte der zugrundeliegenden Modelle, die Trainingsdaten oder den Quellcode des Anbieters.
• Der Wechsel des Modells kann die Rechte an der Ausgabe sowie den zulässigen Nutzungsbereich verändern.
• Für Anwendungen mit hohem Risiko sollten Verfahren zur manuellen Genehmigung, Aufzeichnungen zur Prüfung sowie Mechanismen zum Rückzug eingeführt werden.

GitHub, SDK und Open-Source-Status

Die Veröffentlichung von Fähigkeiten, Beispielen, Dokumentationen oder Integrationscode bedeutet nicht, dass das Eden AI Gateway sowie die zugrunde liegenden Modelle offen zugänglich sind. Da die V3-Chat-Schnittstelle mit dem OpenAI-Format kompatibel ist, können viele Teams direkt kompatible Clients verwenden, ohne auf ein spezielles SDK angewiesen zu sein.

Geeignet für Nutzer und typische Szenarien

• Entwicklerteams müssen Qualität, Verzögerungen und Kosten bei mehreren LLMs testen.
• SaaS-Produkte, die gleichzeitig OCR-, Sprach-, Übersetzungs-, Bild- und Textmodelle nutzen.
• Unternehmensplattform-Teams, die eine einheitliche Verwaltung von Schlüsseln, Rechnungen, Überwachung und Lieferantenmanagement anstreben.
• Produktionsanwendungen, die eine Fehlerrückfallbehandlung sowie die Möglichkeit zum Austausch des Lieferanten benötigen.
• Europäische oder regulierte Projekte, die EU-Endpunkte, DPA und regionale Strategien erfordern.
• Entwickler, die hoffen, über dieselbe Schnittstelle Agenten und multimodale Workflows zu erstellen.

Vorteile und wesentliche Einschränkungen

Hauptvorteile

• Ein einziger Zugang umfasst zahlreiche Sprachmodelle sowie Experten-KI-Fähigkeiten.
• Einheitliche Rechnungen, das Cost-Feld sowie mehrere Schlüssel erleichtern die Kostentrackierung.
• Intelligente Routing-Methoden, Pools von möglichen Optionen sowie Fallback-Mechanismen verbessern die Fähigkeit zur Umleitung und zum Fehlerbeheben.
• Der von OpenAI kompatible Format verringert die Kosten für die Migration bestehender Chat-Apps.
• SOC 2, ISO 27001, DPA sowie Kontrollen für regionale Anforderungen und ohne Datenspeicherung.

Hauptbeschränkungen

• Abgesehen von der Menge, die der Lieferant verwendet, muss noch eine Gebühr von 5,5 % an die Plattform gezahlt werden.
• Die Beibehaltung der Lieferanten auf der untersten Ebene, die Regionen, Bedingungen sowie Geschwindigkeitsbeschränkungen müssen weiterhin separat geprüft werden.
• Für öffentliche Seiten gibt es bei der Standard-Geschwindigkeitsbeschränkung zwei Werte: 7 Mal pro Sekunde und 10 Mal pro Sekunde.
• Der Modellkatalog, die Parameterunterstützung sowie die Preise können sich bei den Lieferanten ständig ändern.
• Intelligente Routing- und Rückfallmechanismen können zu Unterschieden in Qualität, Kosten und Konformität führen.
• Die Kernnetzwerk-Quellen sind geschlossen; die öffentlichen Repositorien enthalten hauptsächlich Dokumente, Beispiele und Integrationen.

Häufige Fragen

Bietet Eden AI eigene große Modelle an?

Nein. Es handelt sich um ein einheitliches API-Gateway, das Anfragen an den vom Benutzer gewählten Drittanbieter weiterleitet und die Authentifizierung, Abrechnung, Überwachung sowie Verwaltung zentral abwickelt.

Wie viele Modelle unterstützt Eden AI?

Der aktuelle Haupt-V3-Dokument listet mehr als 500 Modelle sowie über 50 Lieferanten auf. Der Verzeichnis ändert sich ständig, daher sollte man die genauen Modelle über die aktuelle Liste der Modelle überprüfen.

Wie wird abgerechnet?

Die Selbstbedienungsversion verbraucht die im Voraus bezahlte Summe nach den offiziellen Preisen des zugrunde liegenden Anbieters; bei dem Kauf von Guthaben wird außerdem eine Gebühr von 5,5 % der Plattform erhoben. Jede Antwort enthält ein Feld mit dem Kostenwert in US-Dollar.

Gibt es eine dauerhaft kostenlose Kontingentgröße?

Die derzeitige Preisgestaltung basiert hauptsächlich auf dem Kauf nach Bedarf; es wird keine feste, dauerhafte kostenlose Nutzungsmenge auf der Preisseite angegeben. Der nach der Registrierung verfügbare Rabattbetrag oder die Testphase richten sich nach den Angaben auf der Konto-Seite.

Wird die automatische Auswahl des Modells unterstützt?

Unterstützung: Es ist möglich, intelligente Routing-Methoden zu nutzen und die verfügbaren Modelloptionen einzuschränken. In der Produktionsumgebung sollten weiterhin das endgültige Modell, die entstandenen Kosten sowie die Notfallmaßnahmen dokumentiert werden.

Wird bei Ausfall des Lieferanten automatisch umgestellt?

In der Anfrage kann eine Fallback-Liste festgelegt werden, sodass im Falle eines Fehlers des Hauptmodells oder bei Bandbreitenbeschränkungen nacheinander alternative Modelle ausprobiert werden. Die alternativen Modelle müssen über die entsprechenden Fähigkeiten verfügen.

Wird standardmäßig die Prompt-Texte und die Ausgabe gespeichert?

Die Datenschutzerklärung und die DPA besagen, dass standardmäßig weder die Eingabedaten der Kunden noch die Ausgabe gespeichert werden, sondern nur die notwendigen Metadaten. Eine mögliche Protokollierung sowie die Verarbeitung durch den zugrunde liegenden Anbieter müssen separat geprüft werden.

Hat Eden AI SOC 2 und ISO 27001?

Die aktuelle Sicherheitsseite weist Zertifizierungen nach SOC 2 und ISO 27001 auf und bietet Unterstützung im Zusammenhang mit DPA und GDPR. Detaillierte Prüfberichte sowie die Anwendungsbereiche können bei der Auftragsprüfung angefordert werden.

Ist Eden AI open source?

Das Core Gateway ist kein Produkt mit offengelegtem Quellcode. Offiziell werden Skill, Dokumentationen, Cookbooks sowie einige Integrationsspeicher bereitgestellt, doch die Kernplattform oder die Gewichte der zugrunde liegenden Modelle sind nicht enthalten.

Kann der Zahlungsbetrag zurückgegeben werden?

Gemäß den Bedingungen erfolgt im Allgemeinen keine Rückerstattung des Betrags, sofern nicht anders angegeben. Bevor man eine große Menge an Guthaben kauft oder die automatische Aufladung aktiviert, sollten zunächst Budgets, Warnungen und Genehmigungsverfahren festgelegt werden.