OpenRouter

Was ist OpenRouter?

OpenRouter ist eine Plattform, die eine einheitliche API für KI-Modelle mit Routing-Lösungen von verschiedenen Anbietern verbindet. Entwickler müssen lediglich ein Konto sowie einen API-Schlüssel erstellen, um über eine relativ einheitliche Schnittstelle Modelle für Textverarbeitung, Inferenz, Visualisierung, Bilder, Audio sowie Embedding-Funktionen von verschiedenen Herstellern aufrufen zu können. Zudem können sie in derselben Konsole die Nutzungsmenge, Kosten, Verzögerungen und Fehler überwachen.

OpenRouter ist an sich kein großes Modell, und es wird nicht garantiert, dass jedes Modell von derselben Infrastruktur betrieben wird. Es verbindet Modelle mit mehreren Inferenzanbietern und wählt die Endpunkte je nach Preis, Durchsatz, Verzögerung, Verfügbarkeit, Datenschutzrichtlinien sowie der vom Benutzer festgelegten Reihenfolge aus.

Konkrete Fähigkeiten, Kontext, Inhaltspolitik, regionale Verfügbarkeit und Preis pro Einheit variieren je nach Modell und Anbieter.

Kernfunktionen von OpenRouter

Einheitliche Mehr-Modell-API

OpenRouter bietet Funktionen wie Chat Completions, Responses und Embeddings im Stil von OpenAI sowie Unterstützung für die Anthropic Messages-Technologie. Viele bestehende Anwendungen können einfach durch Anpassung der Base URL, des API-Schlüssels und der Modell-ID integriert werden.

Die Entwickler bieten außerdem SDKs sowie Beispiele für Python, TypeScript, Go usw. an. Allerdings unterstützen die verschiedenen Modelle nicht immer dieselben Tools, Bilder, Audiodateien, Inferenzparameter und strukturierten Ausgaben.

Modell- und Anbieteraggregation

Derselbe Modell kann von mehreren Anbietern zur Inferenz bereitgestellt werden. Die Standardroute balanciert zwischen Zuverlässigkeit und Leistung unter den verfügbaren Endpunkten und kann bei Überlastung oder Ausfällen auf andere Anbieter zurückgreifen.

Entwickler können auch die Reihenfolge der Anbieter festlegen, ein Zurückfallen auf ältere Versionen verhindern, die Quantisierungsstufe begrenzen oder Endpunkte nach Preis, Durchsatz und Verzögerung auswählen.

Rückgänge können die Erfolgsrate erhöhen, können aber Verzögerungen, Datenverarbeitungspartner, Regionen sowie Ausgabe-Details verändern. Bei Anwendungen mit hohen Anforderungen an Konformität oder Ergebniskonsistenz sollten die zulässigen Anbieter und Parameter festgelegt werden, sowie das tatsächlich verwendete Modell, der Endpunkt und die generierte ID aufgezeichnet werden.

Modellrouten und automatische Auswahl

OpenRouter bietet automatische Routing-Funktionen, Modellrouting sowie Vorlagen. Es ist möglich, je nach Eingabedaten oder Verfügbarkeit ein passendes Modell auszuwählen. Er eignet sich zum schnellen Ausprobieren verschiedener Modelle – dabei können kostengünstige Modelle für einfache Anfragen genutzt werden, während leistungsstärkere Modelle für komplexe Aufgaben verwendet werden.

Die automatische Auswahl bedeutet nicht zwingend die beste Qualität; das Produktionsystem sollte weiterhin durch einen Bewertungssatz hinsichtlich Genauigkeit, Stabilität und Kosten überprüft werden.

BYOK verfügt über einen eigenen Zulieferer-Schlüssel.

BYOK ermöglicht es den Nutzern, ihre eigenen Schlüssel von Anbietern wie OpenAI, Anthropic, Google, AWS usw. hinzuzufügen, während sie weiterhin die einheitliche Schnittstelle sowie das Routing von OpenRouter nutzen können. Die Schlüssel werden verschlüsselt gespeichert und können so eingestellt werden, dass sie vorrangig verwendet werden oder nur als Rückfallmöglichkeit bei Ausfall der gemeinsam genutzten Kapazitäten zum Einsatz kommen.

Standardmäßig kann man nach einem Versagen der eigenen Schlüssel weiterhin den OpenRouter-Betrag nutzen. Um ein solches Zurückschreiten vollständig zu vermeiden, müssen die entsprechenden Einschränkungen aktiviert werden.

Die Kosten für die Modelle von BYOK werden vom ursprünglichen Lieferanten abgerechnet. OpenRouter erhebt außerdem Gebühren gemäß den offiziellen Regeln. Der kostenlose Umgang mit den Modellen wird anhand der bei OpenRouter angegebenen Kosten für deren Nutzung berechnet – und nicht einfach anhand der Anzahl der Anfragen.

Budget- und Verbrauchskontrolle

In der Konsole können Anfragen, Token, Kosten, Verzögerungen und Fehler angezeigt werden. Zudem können Budgets und Ausgabengrenzen für API-Schlüssel oder Teams festgelegt werden. Der Management-API-Schlüssel kann zur automatischen Erstellung und Verwaltung von Unter-Schlüsseln verwendet werden.

In einem formalen Umfeld sollten Projekten und Entwicklern eigene Schlüssel zugeteilt werden, sowie Obergrenzen, zulässige Quellen und Rotationsschemata festgelegt werden, um ein Teilen des Hauptschlüssels zu vermeiden.

Privacy- und Datenerfassungsstrategien

Jeder Anbieter von Inferenzdiensten hat seine eigenen Richtlinien bezüglich der Protokollierung, der Aufbewahrung und des Trainings. OpenRouter zeigt die Datenrichtlinien der Endpunkte an. Nutzer können auf Account- oder Anfrageebene verhindern, dass Daten an Anbieter weitergeleitet werden, die möglicherweise mit Prompten trainiert werden. Zudem kann man Endpunkte verlangen, die eine Null-Datenaufbewahrung gewährleisten.

Diese Einstellung steuert nur die auswählbaren Anbieter und kann nicht die Lektüre der Bedingungen von OpenRouter selbst sowie der Modellanbieter ersetzen.

Unternehmenskunden können eine Routing-Option für die USA oder die EU beantragen, damit Anfragen in der ausgewählten Region verarbeitet werden. Diese regionalen Funktionen sind nicht für alle Konten oder Modelle standardmäßig verfügbar; das Unternehmen muss sie aktivieren und die Liste der verfügbaren Modelle überprüfen.

Caching und Kostensenkung

Die Plattform unterstützt einen Cache für Anweisungen auf Lieferantenebene und bietet außerdem einen ähnlichen Cache für Antworten auf der OpenRouter-Ebene. Wenn der Antwortcache aktiviert ist, können erfolgreiche Anfragen mit derselben API-Key, demselben Modell, demselben Endpunkt sowie im gleichen Flussmodus und mit demselben Anfrageinhalt direkt aus dem Cache zurückgegeben werden. Ein Cachehit wird nicht berechnet.

Die Standard-Caching-Dauer ist kurz und kann je nach Anfrage oder Voreinstellung angepasst werden.

Der Cache gibt die ursprünglichen Ergebnisse zurück und eignet sich daher nicht für Szenarien, in denen stets neue Inhalte erzeugt werden müssen. Wenn die Einstellung „Zero Data Retention“ auf Kontoebene aktiviert ist, ist der Antwortcache nicht verfügbar, da der Cache die zurückgegebenen Daten kurzfristig speichern muss.

Chat und Modell-Testversion

Der Chat auf der Webseite kann zur Vergleich von Modellen, zum Testen von Prompten sowie zur Überprüfung der Funktionalitäten von Anhängen verwendet werden. Die kostenlosen Modelle können direkt ausprobiert werden, es gelten jedoch tägliche Anfragenbeschränkungen sowie Schwankungen in der Kapazität und Verfügbarkeit des Anbieters.

Kostenlose Modelle eignen sich besser für Tests und die Entwicklung von Lösungen. Man kann nicht davon ausgehen, dass sie dieselben SLA-, Durchsatz- oder Datenschutzversprechen wie kostenpflichtige Modelle bieten.

Vergleich der OpenRouter-Pakete und Preise

OpenRouter ist derzeit in die Versionen Free, Pay-as-you-go und Enterprise unterteilt. Die Abrechnung erfolgt je nach Version anhand der auf den jeweiligen Seiten angegebenen Eingaben, Ausgaben, Bilder, Audiodateien sowie der Kosten pro Suchanfrage oder -anfrage.

Plattformgebühren und BYOK-Regeln werden separat berechnet.

Der Preis des dynamischen Modells sollte nicht als fester Preis festgelegt werden; der aktuelle Preis kann vor dem Aufruf über die Modell-API oder die Konsole abgerufen werden.

Vergleich der Kosten für OpenRouter BYOK

Die Beträge von 25.000 oder 200.000 US-Dollar sind keine kostenlosen Guthaben, sondern stellen die berechneten BYOK-Berechnungsmengen ohne Plattformgebühr dar – basierend auf den Preisen des gleichen Anbieters bei OpenRouter. Ab einem bestimmten Schwellenwert wird ein Aufpreis von 5 % von den OpenRouter-Credits abgezogen. Daher müssen BYOK-Nutzer weiterhin ausreichende Guthaben auf der Plattform haben.

Leitfaden zur Anbindung an die OpenRouter API

1. Registrieren und einen Key erstellen:Erstellen Sie in der Konsole eine für das Projekt eigene API-Schlüssel. Legen Sie den Schlüssel nicht in den Frontend-Code, in öffentliche Repositorien oder in Screenshots.
2. Aufladen oder kostenloses Modell auswählen:In der Testphase können kostenlose Modelle verwendet werden; für den regulären Einsatz müssen zunächst Credits gekauft und ein Budgetlimit festgelegt werden.
3. Liest die Liste der Modelle ein:Überprüfen Sie die Modell-ID, die Eingangs-/Ausgabetypen, den Kontext, die Funktionalitäten des Tools sowie den aktuellen Preis – verlassen Sie sich nicht nur auf den Modellnamen.
4. Anpassung der Client-Einstellungen:Wenn ein kompatibles SDK verwendet wird, muss die Base URL auf OpenRouter gerichtet sein, und es müssen der Schlüssel sowie die vollständige Modell-ID übergeben werden.
5. Senden Sie eine Testanfrage:Zuerst testen Sie den Text und die fließende Ausgabe, anschließend überprüfen Sie nacheinander die Tools, Bilder, JSON Schema und die Inferenzparameter.
6. Konfiguration der Routing-Strategie:Nach den Anforderungen des Geschäfts werden Lieferanten ausgewählt, es wird entschieden, ob auf einen Rückgriff zurückgegriffen werden soll, sowie nach Preis oder Leistung sortiert – und auch die Bedingungen der Datenschutzrichtlinien werden berücksichtigt.
7. Fehlerbehandlung:Gegen Überlastung, ungenügendes Guthaben, abgelehnte Inhalte, Lieferantenprobleme und Kontextüberschreitung wird jeweils separat vorgegangen; es sollen keine endlosen Wiederholungsversuche unternommen werden.
8. Überwachung online:Erhalten Sie Aufzeichnungen über das tatsächliche Modell, den Lieferanten, Token, Kosten, Verzögerungen und generierte IDs, und legen Sie einen Schlüsselbudget sowie Alarme fest.

Anleitung zur Verwendung von OpenRouter

Erstellung wiederverwendbarer professioneller Workflows

1. Für die Entwicklungs-, Test- und Produktionsumgebungen werden unterschiedliche Schlüssel und Limits verwendet;
2. Ein repräsentatives Bewertungsset wird durch eine einheitliche Multi-Modell-API, die Aggregation von Modellen und Anbietern sowie die Routierung und automatische Auswahl von Modellen erstellt.
3. Einstellen von Timeout, Konkurrenz, Wiederholungsversuchen, Limitierung sowie Budgetobergrenzen;
4. Durchführung von Überprüfungen hinsichtlich Fakten, Sicherheit, Formatierung und sensibler Informationen am Ausgangsinhalt;
5. Überwachung von Änderungen bei Modellversionen, Preisen, Verzögerungen und Ausfallraten;
6. Vorbereitung von Plänen für die Herabstufung des Modells, Schutzmaßnahmen sowie manuelle Übernahme.

Hinweise zu Abrechnung und Kosten

• Verschiedene Modelle können je nach Eingabetoken, Ausgabetoken, internen Inferenztoken, Lese-/Schreibvorgängen im Cache, Bildern, Audio, Webseiten-Suchen oder einzelnen Anfragen unterschiedlich berechnet werden.
• Lange Kontexte und Schlussfolgerungsmodelle können erhebliche zusätzliche Kosten verursachen;
• Die von der Client-Seite geschätzten Token dienen nur als Orientierungshilfe für das Budget – letztendlich gelten die durch die API zurückgegebenen Nutzungsdaten sowie die Rechnungen im Dashboard.
• Aufladung des Saldo, Rückerstattungen, Steuern und Zahlungsmethoden richten sich nach dem jeweiligen Gebiet sowie der Zahlungsseite;
• Kostenlose Modelle, Preise, Lieferanten und Beschränkungen können jederzeit geändert werden;
• Bei der Bereitstellung von Dienstleistungen an Nutzer sollten eigene Grenzwerte, Kostenschutzmaßnahmen sowie Strategien zur Leistungseinschränkung festgelegt werden.

Für welche Benutzer eignet sich OpenRouter?

• Entwickler, die durch eine Schnittstelle schnell mehrere große Modelle vergleichen und wechseln möchten;
• Anwendungsteams, die auf mehrere Anbieter ausweichen müssen, um die Verfügbarkeit der API zu verbessern;
• Benutzer, die einen mit OpenAI kompatiblen Client nutzen möchten, um auf verschiedene Text- und multimodale Modelle zuzugreifen;
• Organisationen, die eine einheitliche Verwaltung von Budget, Protokollen, Schlüsseln und Modellkosten benötigen;
• Teams, die bereits ein Lieferantenkonto haben und den gemeinsamen Routing-Schicht unter Verwendung von BYOK nutzen möchten.

Vorteile und Einschränkungen bei der Verwendung

• Die Vorteile von OpenRouter sind eine umfassende Modellabdeckung, einheitliche Anschlussmöglichkeiten, die Möglichkeit, Echtzeit-Preise und Leistungen zu vergleichen, sowie Funktionen für Routing, Fallback-Möglichkeiten, BYOK, Budgetkontrolle und Filterung nach Datenrichtlinien.
• Es kann die ingenieurtechnischen Kosten für den Umstieg auf mehrere Modellprototypen sowie Lieferanten erheblich senken.
• Die Aggregatschicht fügt ebenfalls eine Abhängigkeit von der Datenauswertungsphase hinzu.
• Modellparameter und -antworten sind nicht vollständig austauschbar, ein Wechsel des Anbieters kann zu Veränderungen der Ergebnisse führen;
• Die Verfügbarkeit des Services wird weiterhin von Faktoren in der Vorverarbeitung beeinflusst.
• Für sensible Daten sollten zugelassene Endpunkte und Bereiche festgelegt werden, sowie Überprüfungsprotokolle und Aufbewahrungsbestimmungen.
• Die Ausgaben des Modells können fehlerhaft oder unzulässig sein. OpenRouter ersetzt keine Inhaltsüberprüfung, keine Überprüfung der Richtigkeit von Informationen sowie keine Risikokontrolle im Geschäftsbetrieb.

Häufige Fragen

Ist OpenRouter kostenlos?

Es gibt kostenlose Optionen – derzeit werden mehrere kostenlose Modelle angeboten, wobei eine Obergrenze von 50 Anfragen pro Tag gilt. Die kostenpflichtigen Modelle werden nach tatsächlichem Verbrauch abgerechnet; bei der Pay-as-you-go-Option kommt außerdem eine Gebühr von 5,5 % für die Plattform hinzu.

Ist OpenRouter ein Modell?

Nein. Es handelt sich um eine Plattform zur Aggregation von Modellen, um ein einheitliches API sowie um Routing-Funktionen für Anbieter – die Antworten werden dabei von den ausgewählten upstream-Modellen erzeugt.

Ist OpenRouter mit dem OpenAI SDK kompatibel?

Die meisten Chat-Anfragen können durch Anpassung der Base URL, des Schlüssels und der Modell-ID abgewickelt werden. Die fortgeschrittenen Parameter und Funktionen der verschiedenen Modelle müssen jedoch nach den Dokumentationen getestet werden.

Unterstützt OpenRouter BYOK?

Unterstützt wird die Möglichkeit, eigene Anbieter-Schlüssel hinzuzufügen und Prioritäten oder Rückfallreihenfolgen festzulegen. Bei BYOK gibt es einen monatlichen Schwellenwert, ab dem keine Plattformgebühren anfallen; darüber hinaus werden gemäß den aktuellen Regeln 5 % berechnet.

Wird OpenRouter mit Prompten trainiert?

Die Richtlinien der verschiedenen Anbieter unterscheiden sich. Nutzer können die Weiterleitung zu Endpunkten mit Trainingsdaten verbieten oder eine ZDR verlangen, müssen jedoch die Datenbedingungen der Plattform sowie des jeweiligen Anbieters separat prüfen.