Orq.ai

Einführung in die Tools

Orq.ai ist eine Plattform für Teams, die sich mit KI-Produkten, -Entwicklung und -Governance beschäftigen. Sie vereint ein Multimodell-Gateway, ein MCP-Tool-Gateway, den Betrieb von Agenten, die Verwaltung von Prompten sowie Funktionen zur Bewertung und Überwachung in einem einzigen Arbeitsbereich. Entwickler können über Schnittstellen, die mit den APIs von OpenAI und Anthropic kompatibel sind, auf verschiedene Modelle zugreifen und dabei gleichzeitig Budget-, Datenschutz- sowie Routing-Vorschriften einhalten.

Es bezeichnet sich nicht als ein einzelnes großes Modell, sondern als Infrastruktur zur Vernetzung und Verwaltung von Modellen, Tools und Agenten. Offiziell werden derzeit über 500 Modelle sowie mehr als 30 Anbieter aufgeführt; die genaue Liste sowie die Preise ändern sich je nach Anbieter.

Hauptfunktionen

KI-Gateway und Mehr-Modell-Routing

Das AI Gateway ermöglicht es Anwendungen, über einen einzigen Endpunkt verschiedene Anbieter oder eigene Modelle aufzurufen und die Modelle ohne Unterbrechung des darüberliegenden Business-Codes zu wechseln.

• Es wird die Verwendung eigener Provider-Schlüssel unterstützt, außerdem können auch Model-Limits, die von Orq.ai verwaltet werden, genutzt werden.
• Es werden bedingte Routing-Methoden, Gewichtung sowie Round-Robin-Lastverteilung, Verzögerungsstrategien und intelligente Routing-Verfahren bereitgestellt.
• Unterstützung für Rücksprünge zwischen Anbietern, Wiederholungsversuche und Caching von Antworten, um die Auswirkungen von Fehlern bei einem einzelnen Modell zu verringern.
• Es ist möglich, private und angepasste Modelle mit Azure AI Foundry, Vertex AI oder kompatiblen Schnittstellen zu verbinden.

Agenten, RAG und MCP-Tools

Das Team kann in AI Studio intelligente Agenten konfigurieren, Prozesse zur verbesserten Generierung sowie Aufrufe von Tools verwalten und diese anschließend über Agent Runtime ausführen.

• Das MCP Gateway kann entfernte MCP-Dienste zentral verbinden und Strategien sowie Tracking für Toolaufrufe anwenden.
• Wissensdatenbanken und RAG-Funktionen dienen dazu, Daten einzuspielen und dem Agenten einen Suchkontext zur Verfügung zu stellen.
• Wiederverwendbare Fähigkeiten, Prompt-Versionen und Bereitstellungskonfigurationen reduzieren die Verwaltung von Anweisungen im Code.

Bewertung, Überwachung und Governance

Jeder Modellaufruf, jeder Schritt des Agents, jede Toolaufruf sowie jede Bewertung erzeugen einen abfragbaren Zeitraum, der zur Analyse von Verzögerungen, Kosten und Ausgabequalität verwendet wird.

• Unterstützung für Datensatz-Experimente, eingebaute oder benutzerdefinierte Bewertungsfunktionen, Vergleich von Prompten sowie Validierung vor der Veröffentlichung.
• Es sind Budgets auf Projekt-, Benutzer- oder Schlüsselebene sowie Alarme und feste Obergrenzen einstellbar.
• Unterstützung der Erkennung und Maskierung sensibler Informationen, von Auditerkennungen, Rollenrechten sowie Strategien zur Datenspeicherung.
• Kompatibel mit OpenTelemetry, um bestehende Agentenverbindungen in eine einheitliche Überwachung einzubeziehen.

Anleitung zur Verwendung

1. Erstellen Sie ein Orq.ai-Konto und eine Arbeitsumgebung und generieren Sie in den Einstellungen einen API-Schlüssel.
2. Wählen Sie entweder die Verwaltung über Orq.ai oder verwenden Sie die eigenen Schlüssel des Modellanbieters und überprüfen Sie dabei die Region des Modells sowie die Anforderungen an die Datenspeicherung.
3. Ändern Sie die Basisendpunkte der bestehenden Clients auf das Orq.ai-Gateway oder installieren Sie Python/Node SDK zur Entwicklung.
4. Konfigurieren Sie Modell-Routing, Wiederholungsversuche, Rückfallstrategien, Budgets, Regeln für sensible Informationen sowie die Aufbewahrungsfrist der Protokolle.
5. Führen Sie die Bewertung mit dem Testdatensatz durch, überprüfen Sie Genauigkeit, Toolaufrufe, Kosten und Verzögerungen, bevor Sie die Bereitstellung veröffentlichen.
6. Nach dem Go-Live werden Abweichungen über Tracking und Dashboards überwacht, und das Modell, die Prompte sowie die Schutzregeln werden kontinuierlich angepasst.

Für welche Benutzer geeignet

• Es ist notwendig, mehrere LLMs über eine Schnittstelle zu verwalten und die Abhängigkeit von einzelnen Anbietern bei den Entwicklerteams zu verringern.
• Es wird ein Produktteam aufgebaut, das Kundenservice, interne Assistenten, RAG oder mehrfach nutzbare intelligente Agenten entwickelt.
• Ein AI-Plattform-Team ist erforderlich, um Kosten, Verzögerungen, Qualität sowie fehlerhafte Prozessschritte einheitlich zu verfolgen.
• Unternehmen mit Anforderungen an Datenhaltung, Private Clouds, Audits, Berechtigungen und lokale Implementierung.
• Es ist zu hoffen, dass Produktmanager und Entwickler im selben Umfeld die Anweisungen, Experimente sowie die veröffentlichten Versionen organisieren können.

Preise und Pakete

Orq.ai bietet derzeit zwei Optionen an: eine Pay-as-you-go-Lösung sowie eine maßgeschneiderte Unternehmenslösung. Die Kosten für die Modelle werden getrennt von den Gebühren der Plattform berechnet. Auch ohne Angabe von Rechnungsdaten ist ein Testen möglich, doch die Anfragen sind durch tägliche Limits begrenzt.

Das Pay-as-you-go-Modell beinhaltet außerdem einen monatlichen kostenlosen Datenvolumen. Falls keine Zahlungsmethode hinterlegt ist, beträgt die maximale Anzahl der Anfragen laut den offiziellen Angaben 50 pro Tag. Optional verfügbare Zusatzleistungen, jährliche Zahlungsverpflichtungen, Steuern sowie Unternehmensrabatte sind nicht in der offiziellen Schätzung enthalten; die endgültigen Bedingungen gelten gemäß der Rechnungsseite oder des Vertrags.

Vorteile des Produkts

• Ein Gateway umfasst gleichzeitig das Modell und die MCP-Tools, wodurch Strategien, Budgets und die Überwachung zentral verwaltet werden können.
• Kompatibel mit gängigen API-Protokollen – bestehende Anwendungen benötigen in der Regel nur geringfügige Anpassungen, um mit der Routierung zu beginnen.
• Anleitungen, Bewertungen, Bereitstellung und Produktverfolgung befinden sich auf derselben Plattform, wodurch die Kosten für die Abstimmung zwischen verschiedenen Tools reduziert werden.
• Das Unternehmensangebot unterstützt eigene VPCs sowie lokale Implementierungen und kann damit strengere Anforderungen an Netzwerk- und Datensicherheit erfüllen.

Einsatzbeschränkungen und Hinweise

• Mehr als 500 Modelle bedeuten nicht, dass sie für jeden Account, jede Region und jede Modusart stets verfügbar sind; es sollte sich nach dem Modellverzeichnis und der Konsole richten.
• Ein Gateway fügt einen zusätzlichen Betriebsschritt hinzu, und intelligente Routing-Verfahren, Wiederholungsversuche sowie Rückfallstrategien können ebenfalls die End-to-End-Latenz sowie die Kosten beeinflussen.
• Ein einziger Agentenaufruf kann mehrere Modelle, Werkzeuge und Bewertungsschritte umfassen, weshalb die Gesamtkosten nicht allein anhand der Anzahl der Aufrufe geschätzt werden können.
• Protokolle können Hinweise, Ausgaben und Metadaten enthalten; es sollten Maskierungen, Zugriffsrechte sowie eine angemessene Aufbewahrungsfrist festgelegt werden.
• Die Nutzungsbedingungen legen klar fest, dass die Plattform nicht für gesundheitliche Informationen verwendet werden darf, die der HIPAA-Regulierung unterliegen; solche Daten dürfen nicht direkt an die Plattform übermittelt werden.
• Die Modellausgaben können weiterhin fehlerhaft oder verzerrt sein; bei hochriskanten Anwendungen ist eine manuelle Überprüfung, ein Bewertungssatz sowie ein Fehlertoleranzmechanismus erforderlich.

Plattformen und Deployment-Möglichkeiten

APIs, SDKs und Open Source

Die Plattform bietet eine Gateway-API, die mit den Aufrufmethoden von OpenAI und Anthropic kompatibel ist, sowie Schnittstellen für Bereitstellung, Agenten, Bewertung und weitere Ressourcen. Die offiziellen Python- und Node-SDKs unterstützen Authentifizierung, fließende Antworten, Wiederholungsversuche sowie Bereitstellungsaufrufe; die Dokumentation zum Python-SDK gilt jedoch weiterhin als Testversion – in Produktumgebungen sollte daher eine stabile Version verwendet werden.

Auf dem offiziellen GitHub-Konto sind Python-, TypeScript-SDKs, Beispiele sowie einige Projekte unter der MIT-Lizenz zu finden. Für die beiden wichtigsten SDK-Repositorys ist jedoch keine klare Lizenz angegeben. Die Tatsache, dass etwas öffentlich einsehbar ist, bedeutet nicht automatisch, dass es unter einer Open-Source-Lizenz steht. Zudem wurde die Plattform, auf der Orq.ai gehostet wird, selbst nicht als Open Source deklariert. Vor der Nutzung sollte daher für jedes Repository separat die jeweilige Lizenz überprüft werden.

Privatsphäre und Sicherheit

Orq.ai gibt an, dass seine Cloud-Dienste in der EU entwickelt und gehostet werden, und bietet Transfers sowie statische Verschlüsselung, die Maskierung sensibler Informationen sowie eine konfigurierbare Löschfunktion an. Zudem versichert das Unternehmen, keine Kundenanfragen, Ausgaben oder Trainingsmodelle zu verfolgen. Tatsächlich unterliegen diese Dienste auch den Richtlinien der gewählten Drittanbieter für Trainingsmodelle.

Das Pay-as-you-go-Modell bietet standardisierte Protokolle für die Datenverarbeitung; Unternehmen können über Prüfberichte, die Speicherung der Daten sowie zusätzliche Bedingungen verhandeln. Im Falle sensibler Daten sollten außerdem die Verarbeitungsmöglichkeiten von Orq.ai sowie des Endmodellanbieters geprüft werden.

Häufige Fragen

Kann Orq.ai kostenlos genutzt werden?

Ohne gebundene Zahlungsmethode kann eine begrenzte Anzahl an Anfragen pro Tag genutzt werden. Das Pay-as-you-go-Modell beinhaltet außerdem monatliche Limits für Gateway-Anfragen, Datenmengen sowie den Betrieb der Agenten. Bei Überschreitung dieser Limits werden entsprechende Gebühren erhoben – es handelt sich also nicht um eine unbegrenzte, dauerhaft kostenlose Nutzung.

Wird es auch eine Gebühr für den eigenen Modell-Schlüssel geben?

Die ersten 1 Million Anfragen pro Monat mit eigenem Schlüssel sind kostenlos. Ab dieser Grenze erhebt Orq.ai eine Gebühr von 4 %. Der Anbieter des Modells berechnet weiterhin die Kosten direkt an den Benutzer gemäß seinen eigenen Regeln.

Ist Orq.ai eine Open-Source-Plattform?

Nein. Einige Beispiele und Tools haben eine Open-Source-Lizenz, aber die Kern-Hosting-Plattform wird nicht als Open Source deklariert. Auch die öffentlichen SDK-Repositories müssen einzeln hinsichtlich ihrer Lizenz überprüft werden.