Orq.ai

Présentation des outils

Orq.ai est une plateforme destinée aux équipes chargées des produits, de l’ingénierie et de la gouvernance en matière d’IA, qui regroupe un gateway multi-modèles, un gateway d’outils MCP, le fonctionnement des agents, la gestion des prompts, ainsi que l’évaluation et l’observabilité dans une même zone de travail. Les développeurs peuvent accéder à plusieurs modèles via des interfaces compatibles avec les méthodes d’appel d’OpenAI et d’Anthropic, et appliquer de manière uniforme des règles de budget, de confidentialité et de routage en temps réel.

Il ne se présente pas comme un seul grand modèle, mais plutôt comme une infrastructure qui relie et gère des modèles, des outils et des agents. Actuellement, plus de 500 modèles et plus de 30 fournisseurs sont listés officiellement ; la liste détaillée ainsi que les prix sont mis à jour en fonction des fournisseurs.

Fonction principale

Passerelle d’IA et routage multi-modèles

AI Gateway permet aux applications d’appeler différents fournisseurs ou leurs propres modèles via un seul point d’accès, et de changer de modèle sans interrompre le code métier supérieur.

• Prend en charge les clés de fournisseur personnalisées, ainsi que les quotas de modèles gérés par Orq.ai.
• Fournit un routage conditionnel, des poids et un équilibrage de charge par pollination, des stratégies de retard et un routage intelligent.
• Prend en charge le fallback, les tentatives de réessai et le cache de réponses entre fournisseurs, afin de réduire l’impact des pannes d’un seul modèle.
• Permet de se connecter à Azure AI Foundry, Vertex AI ou à des modèles privés et fine-tunés avec des interfaces compatibles.

Agents, RAG et outils MCP

L’équipe peut configurer des agents intelligents, des processus de génération améliorée par la recherche et des appels d’outils dans AI Studio, puis les exécuter via Agent Runtime.

• Le MCP Gateway permet de se connecter de manière unifiée à des services MCP distants, et d’appliquer des politiques ainsi que du suivi aux appels d’outils.
• La base de connaissances et la fonction RAG servent à importer des données et à fournir un contexte de recherche aux agents intelligents.
• Réutiliser les compétences, les versions des prompts et les configurations de déploiement pour réduire la dispersion des instructions de maintenance dans le code.

Évaluation, suivi et gouvernance

Chaque demande de modèle, chaque étape de l’agent, chaque appel d’outil ou évaluation crée une période consultable, utilisée pour analyser les délais, les coûts et la qualité des résultats.

• Soutien aux expériences sur des ensembles de données, évaluateurs intégrés ou personnalisés, comparaison de prompts et validation avant mise en ligne.
• Il est possible de définir des budgets au niveau des projets, des utilisateurs ou des clés, ainsi que des alertes et des plafonds fixes.
• Prend en charge la détection et le masquage des informations sensibles, les journaux d’audit, les droits des rôles et les stratégies de conservation des données.
• Compatible avec OpenTelemetry, ce qui facilite l’intégration des chaînes d’agents existants dans un suivi unifié.

Tutoriel d'utilisation

1. Créez un compte et un espace de travail sur Orq.ai, puis générez une clé API dans les paramètres.
2. Choisissez d’utiliser Orq.ai pour gérer les quotas ou de disposer de vos propres clés fournies par le fournisseur de modèles, et vérifiez la région du modèle ainsi que les exigences de conservation des données.
3. Remplacer les points d’entrée de base des clients existants par le gateway Orq.ai, ou installer les SDK Python et Node pour le développement.
4. Configurer la routage du modèle, les tentatives de réessai, les stratégies de fallback, le budget, les règles concernant les informations sensibles et la durée de conservation des journaux.
5. Exécutez l’évaluation avec le jeu de données de test, vérifiez la précision, les appels d’outils, les coûts et les délais avant de publier le déploiement.
6. Après le déploiement, les anomalies sont surveillées via le suivi et le tableau de bord, et le modèle, les prompts et les règles de protection sont ajustés en continu.

À qui s’adresse-t-il

• Il est nécessaire de gérer plusieurs LLM via une interface et de réduire le verrouillage par le fournisseur pour les équipes d’ingénierie.
• Équipe de développement de produits pour des assistants clients, des assistants internes, RAG ou des agents intelligents multi-outils.
• Équipe de plateforme IA nécessitant un suivi unifié des coûts, des retards, de la qualité et des liens d’échec.
• Les entreprises ayant des exigences en matière de stockage de données, de réseau privé, d’audit, de permissions et de déploiement local.
• Il est souhaitable que les gestionnaires de produits et les développeurs gèrent dans le même espace les prompts, les expérimentations et l’organisation des versions publiées.

Prix et forfaits

Orq.ai propose actuellement deux options : un modèle payant au forfait et une version sur mesure pour les entreprises. Le coût des modèles est calculé séparément des frais de la plateforme. Il est possible de tester sans informations de facturation, mais les appels sont soumis à une limite quotidienne.

Le forfait payant comprend également une limite gratuite par mois ; en l’absence de méthode de paiement associée, la documentation officielle indique un maximum de 50 requêtes par jour. Les options supplémentaires, les engagements de paiement annuel, les taxes et les remises pour achats en gros ne sont pas inclus dans l’estimation publique ; les conditions finales font l’objet de la page de règlement ou du contrat.

Avantages du produit

• Un gateway couvre à la fois le modèle et les outils MCP, ce qui facilite une gestion centralisée des politiques, des budgets et du suivi.
• Compatible avec les protocoles API courants, les applications existantes n’ont généralement besoin que de peu de modifications pour commencer à router.
• Les prompts, l’évaluation, le déploiement et le suivi de la production se trouvent sur la même plateforme, ce qui réduit les coûts liés à la résolution de problèmes entre outils.
• La solution d’entreprise prend en charge les VPC propriétaires et le déploiement local, permettant de répondre à des exigences plus strictes en matière de contrôle réseau et de données.

Restrictions d'utilisation et précautions

• Plus de 500 modèles ne signifient pas que chacun d’eux est toujours disponible pour chaque compte, région et modalité ; il convient de se référer au catalogue des modèles et à la console.
• Le gateway ajoute une étape de traitement, et le routage intelligent, les tentatives de réessai et les mécanismes de fallback peuvent également affecter le délai et les coûts du bout en bout.
• Une exécution d’un agent intelligent peut comprendre plusieurs modèles, outils et étapes d’évaluation ; par conséquent, on ne peut pas estimer le coût total uniquement en fonction du nombre d’exécutions.
• Le journal peut contenir des instructions, des résultats et des métadonnées ; il convient de configurer le masquage, les droits d’accès ainsi qu’une durée de conservation appropriée.
• Les conditions de service précisent que la plateforme n’est pas destinée aux informations de santé soumises à la réglementation HIPAA, et que de telles données ne doivent pas être envoyées directement au service.
• La sortie du modèle peut encore être erronée ou présenter des biais ; les activités à haut risque nécessitent une révision manuelle, un ensemble d’évaluation et un mécanisme de fallback en cas de panne.

Plateforme et mode de déploiement

API, SDK et situation du logiciel open source

La plateforme propose une API de passerelle compatible avec les méthodes d’appel d’OpenAI et d’Anthropic, ainsi que des interfaces pour le déploiement, les agents, l’évaluation et d’autres ressources. Les SDK officiels Python et Node prennent en charge l’authentification, les réponses en flux continu, les tentatives de récupération et les appels de déploiement ; toutefois, la documentation du SDK Python est encore indiquée comme étant en version bêta, il est donc conseillé d’utiliser une version stable en environnement de production.

Sur le GitHub officiel, on peut trouver des versions en Python et TypeScript du SDK, des exemples ainsi que certains projets sous licence MIT, mais les deux répertoires principaux du SDK ne disposent pas de licence clairement indiquée pour le moment. Le fait qu’un code soit accessible au public ne signifie pas automatiquement qu’il peut être utilisé en open source ; de plus, la plateforme hébergée par Orq.ai n’a pas non plus été déclarée open source. Il convient de vérifier séparément la licence de chaque répertoire avant de l’utiliser.

Confidentialité et sécurité

Orq.ai indique que ses services cloud sont développés et hébergés dans l’Union européenne, offrant chiffrage en transit et statique, masquage des informations sensibles ainsi que suppression configurable, et affirme ne pas utiliser les prompts des clients, les résultats ou suivre les modèles d’entraînement. Ils sont également soumis aux politiques de conservation du fournisseur de modèles tiers choisi.

Le plan payant propose un protocole standard de traitement des données, et les entreprises peuvent négocier des rapports d’audit, la localisation des données et des clauses spécifiques. Lorsqu’il s’agit de données sensibles, il convient d’examiner en même temps la portée du traitement par Orq.ai et celle du fournisseur final du modèle.

Questions fréquentes

Orq.ai peut-il être utilisé gratuitement ?

Il est possible d’utiliser un nombre limité de requêtes par jour en l’absence de méthode de paiement associée ; le forfait payant comprend également des quotas mensuels pour les requêtes du gateway, les intervalles, les données et le fonctionnement des agents. Au-delà de ces limites, des frais sont facturés selon différents critères de mesure, ce qui signifie qu’il ne s’agit pas d’un accès illimité et gratuit en permanence.

Y a-t-il encore des frais pour posséder sa propre clé de modèle ?

Les 1 million de requêtes par mois utilisant des clés personnelles sont gratuites ; au-delà, Orq.ai facture 4 %, tandis que le fournisseur du modèle continue de facturer directement l’utilisateur selon ses propres règles.

Orq.ai est-il une plateforme open source ?

Non. Certains exemples et outils sont sous licence open source, mais la plateforme d’hébergement principale n’est pas déclarée comme telle, et il faut vérifier individuellement les licences des dépôts SDK publics.