AI21

Qu’est-ce que AI21 Maestro ?

AI21 Maestro est un système de planification dynamique, d’orchestration et d’optimisation développé par AI21 Labs pour les agents IA de niveau production. Il sélectionne en temps réel les modèles, les outils et les parcours d’exécution en fonction des tâches, des exigences et du budget, puis vérifie et corrige les résultats intermédiaires ainsi que la sortie finale.

Une phrase pour présenter

Maestro peut combiner des documents d’entreprise, des pages web, des modèles et des outils pour créer des agents de connaissances traçables, et rechercher automatiquement des solutions d’exécution en équilibrant qualité, coût et temps de réponse.

Positionnement du produit

• Destiné aux tâches d’entreprises à haute valeur et à forte intensité de données.
• Utilisé pour créer et optimiser les agents de connaissances RAG.
• Insister sur la planification dynamique en temps de exécution plutôt que sur des liens fixes.
• Améliorer la maîtrise en exigeant la vérification et l’exécution du suivi.
• Prend en charge l’orchestration unifiée d’AI21 et de modèles tiers.
• Il existe des API et des SDK, ainsi que la possibilité de configurer via la plateforme.

Fonctionnalités clés

• Découper les tâches complexes en un plan d’exécution en plusieurs étapes.
• Choisir le modèle approprié, les outils de recherche et externes.
• Exploration en parallèle de plusieurs chemins candidats.
• Calculé en fonction de la qualité, du coût et de l’affectation budgétaire des délais.
• Vérifier progressivement la satisfaction des exigences.
• Tentative automatique de réessai ou correction après détection d’un problème.
• Fournit un diagramme d’exécution, une confiance et un rapport de validation.
• Enregistrer la configuration de l’agent pour des appels API ultérieurs.

Planification dynamique et orchestration

À chaque exécution, Maestro construit un arbre d’exécution composé de appels de modèles et d’opérations d’outils en fonction de la tâche, au lieu d’utiliser systématiquement une chaîne d’instructions fixe. Le plan évolue en fonction des exigences, des données et du budget.

• Analyser les objectifs de la tâche et les exigences explicites.
• Sélectionnez les étapes de recherche et de raisonnement à exécuter.
• Comparer la qualité et le coût attendus des différentes options.
• Ajuster l’étape suivante pendant l’exécution.
• Arrêter lorsque la valeur du calcul supplémentaire est insuffisante.
• Afficher le parcours d’exécution complet pour examen.

Concurrence multipath

• Générer plusieurs stratégies candidates pour des problèmes complexes.
• Permettre aux chemins parallèles d’utiliser des modèles ou des outils différents.
• Comparer le degré de satisfaction des résultats candidats par rapport aux exigences.
• Éliminer les voies de faible qualité ou à coût élevé.
• Conserver les résultats les meilleurs.
• Le calcul parallèle augmente les coûts réels et les délais.

Vérification intégrée et correction automatique

Maestro évaluera la qualité de la sortie en fonction des critères définis par l’utilisateur tels que le contenu, le style, le format et les contraintes. Si le résultat est inférieur à l’objectif, des recherches supplémentaires, des raisonnements ou des corrections peuvent être effectués jusqu’à ce que les exigences soient satisfaites ou que le budget soit épuisé.

• Retourner un score distinct pour chaque exigence.
• Fournir un score de satisfaction globale.
• Une erreur a été détectée à l’étape intermédiaire.
• Éviter que les erreurs ne soient transmises aux processus suivants.
• Essayer automatiquement de corriger les résultats non conformes.
• Les résultats de la vérification doivent encore être confirmés par des contrôles aléatoires manuels.

Contrôle budgétaire

Optimisation de la qualité, des coûts et des délais

• Définir un seuil de qualité acceptable pour la tâche.
• Limite le budget de calcul utilisable par exécution.
• Définir des objectifs de retard en fonction du contexte.
• Observer les courbes des coûts de qualité pour différentes configurations.
• Diriger les tâches simples vers le chemin d’exécution moins lourd.
• Ne pas effectuer de calculs supplémentaires que si les gains de qualité attendus en valent la peine.
• Attribuer les dépenses par équipe, par répertoire de code et par Agent.

Recherche de connaissances RAG

Maestro est basé sur le RAG Engine d’AI21 et permet de combiner la recherche dans des fichiers, la recherche sur le web et les questions ultérieures au niveau de la planification. Les réponses peuvent s’appuyer sur des documents d’entreprise comme contexte, mais RAG ne peut pas encore éliminer complètement les illusions.

• Analyse et indexation automatiques après le téléchargement du fichier.
• Récupérer le contenu pertinent à partir du document spécifié.
• Compléter les informations publiques par une recherche sur le web.
• Permet des questions et des clarifications successives.
• Utiliser les résultats de recherche pour une réflexion en plusieurs étapes.
• Adapté aux connaissances internes et aux applications client.

Types de fichiers pris en charge

• Document PDF.
• Document Microsoft Word.
• Fichier de texte brut.
• Fichier Markdown.
• Fichier HTML.
• La connexion aux sources de données cloud doit être confirmée en fonction des capacités du compte.
• Les scans, les tableaux complexes et les images doivent faire l’objet d’un test distinct de la qualité de leur analyse.

RAG structuré et extraction de données

• Extraction d’informations structurées à partir de documents complexes.
• Identifier les tableaux, les champs et les relations entre documents.
• Utiliser les résultats du tirage pour les étapes suivantes de l’agent.
• Idéal pour les contrats, les rapports et les documents techniques.
• Peut être utilisé pour la migration et la normalisation des données.
• Les champs à haut risque doivent être vérifiés par rapport au texte original.

Orchestration indépendante du modèle

Maestro peut utiliser les modèles propriétaires d’AI21, ainsi que des modèles tiers gérés par AI21 ou pour lesquels les clés sont fournies par l’utilisateur. L’équipe peut spécifier un modèle, ou laisser le système en choisir automatiquement un en fonction de la tâche.

• Prend en charge les modèles de la série AI21 Jamba.
• Certains modèles d’OpenAI peuvent être utilisés.
• Il est possible d’utiliser certains modèles d’Anthropic.
• Certains modèles de Google peuvent être utilisés.
• Réduire les différences d’intégration au niveau supérieur grâce à une interface unifiée.
• Les modèles tiers disponibles évolueront avec les mises à jour du service.
• L’utilisation du modèle reste soumise aux conditions des différents fournisseurs.

BYOK clé intégrée

• Configurer les identifiants des modèles tiers dans la plateforme.
• Le document actuel liste OpenAI, Anthropic et Google.
• Référencez l’ID du modèle configuré lors du fonctionnement de l’agent.
• Les frais de tiers sont calculés par le fournisseur correspondant.
• Il convient d’utiliser des projets dédiés et des clés restreintes.
• Effectuer un renouvellement régulier et surveiller les appels anormaux.
• Ne pas écrire la clé directement dans le code du client.

Outil MCP à distance

Maestro peut servir de client MCP pour se connecter à des serveurs MCP distants accessibles via Internet, afin d’appeler des outils, des services et des données externes. La documentation actuelle décrit le support des serveurs distants, mais pas des serveurs MCP locaux fonctionnant uniquement sur un seul appareil.

• Connecter un service MCP distant accessible via Internet.
• Utiliser des méthodes d’authentification courantes pour protéger les appels.
• Ajouter des outils externes au plan d’exécution de l’agent.
• Prend en charge les workflows nécessitant des opérations en plusieurs étapes.
• Les valeurs retournées par l’outil peuvent être utilisées pour des vérifications ultérieures.
• Les écritures externes doivent faire l’objet d’une approbation manuelle.

Enregistrer et réutiliser l’agent

• Conserver le nom et la description de l’agent.
• Conserver les instructions du système et les limites métier.
• Enregistrer les outils et la configuration du modèle.
• Citer directement dans les appels API ultérieurs.
• Réduire la transmission répétée de grandes configurations.
• Cela favorise l’unification des flux de travail d’équipe.
• Lors de la modification de la configuration, des tests de version et de régression doivent être effectués.

Suivi de l’exécution et observabilité

• Voir le diagramme d’exécution visuel.
• Comprendre les modèles, les outils et l’ordre des appels de recherche.
• Vérifier les scores de validation pour chaque exigence.
• Étapes de localisation échouées ou de faible qualité.
• Analyser les coûts et les sources de retards.
• Comparer différentes configurations de budget.
• Conserver les enregistrements de fonctionnement nécessaires aux audits.

Langues de réponse supportées

L’API prend actuellement en charge la sortie en arabe, néerlandais, anglais, français, allemand, hébreu, italien, portugais et espagnol, l’anglais étant utilisé par défaut. Le chinois n’est pas inclus dans la liste actuellement publiée.

À qui s’adresse-t-il

• Équipe d’ingénierie IA pour la création d’agents de connaissances d’entreprise.
• Institutions financières et juridiques ayant besoin d’un RAG à haute précision.
• Entreprises qui gèrent un grand nombre de contrats, de rapports et de documents techniques.
• Développeurs souhaitant unifier plusieurs fournisseurs de modèles.
• Équipes de plateforme qui doivent contrôler les coûts et les délais des agents.
• Organisations régulées souhaitant conserver les enregistrements d’exécution et de vérification.
• Les entreprises qui mettent en production les processus de recherche et d’analyse en IA.

Scénarios d'utilisation typiques

• Générer des rapports d’étude financière.
• Préparation automatique de la réponse à la RFP.
• Mener une due diligence pour les fusions et acquisitions.
• Examiner le portefeuille de contrats et les clauses clés.
• Analyser les prospectus d’investissement et les documents financiers.
• Résumer les résultats des essais cliniques.
• Vérifier les problèmes techniques des équipements à haute valeur.
• Extraire les éléments des revendications à partir du brevet.
• Convertir les données du système ancien en structure standard.

Quand cela ne convient pas vraiment

• Une personne qui a seulement besoin d’une conversation simple et de quelques questions-réponses.
• Scénarios où l’on cherche au minimum de latence sans avoir besoin de validation.
• Organisations qui doivent fonctionner en mode totalement hors ligne et local.
• Exiger des applications qui énumèrent en chinois natif.
• Équipes sans droits d’accès aux outils de gestion des capacités d’ingénierie.
• Développeurs souhaitant obtenir le code source complet de Maestro.
• Les projets où la facturation par quantité et les fluctuations de coûts ne sont pas acceptables.

Mode d'utilisation de l’API

• Créer une exécution Maestro pour effectuer la tâche.
• Entrée utilisateur entrante et exigences explicites.
• Recherche de profils ou recherche de ressources sur des pages web.
• Spécifier un modèle ou utiliser le choix automatique.
• Définir un budget bas, moyen ou élevé.
• Sélectionnez les informations de suivi à renvoyer.
• Lire la sortie, demander les scores et la note globale.

Prix et quota d’essai

La documentation d’AI21 indique que la plateforme facture principalement en fonction du nombre de tokens ou de l’utilisation des endpoints spécifiques. Les nouveaux comptes bénéficient d’une offre d’essai de 10 dollars valable trois mois, pouvant être utilisée pour les API, les SDK et le Playground. Une méthode de paiement valide doit être ajoutée une fois cette offre épuisée ou expirée.

Facteurs influençant le coût

• Nombre de tokens d’entrée et de sortie.
• Modèle et fournisseur sélectionnés.
• Niveau de budget Faible, Moyen ou Élevé.
• Chemin d’exécution et nombre de cycles de vérification.
• Recherche sur le web, recherche de fichiers et appel d’outils externes.
• Nombre de tentatives de réessai en cas d’échec et de corrections automatiques.
• Frais de services cloud et de données de tiers.

Comment contrôler les coûts

• Les tâches simples commencent par défaut avec un budget bas.
• Réduire la portée de la recherche des fichiers et les noms de domaines des pages web.
• Affecter explicitement les tâches aux modèles plus légers.
• Activez la vérification à forte intensité uniquement pour les exigences critiques.
• Surveiller les champs de consommation dans la réponse de l’API.
• Définir des budgets par équipe, application et agent.
• Utiliser un ensemble d’échantillons pour comparer la qualité et le coût unitaire.

Tutoriel pour créer un RAG Agent

1. Créez un compte AI21 et conservez en toute sécurité la clé API.
2. Téléversez un petit nombre de documents de test autorisés.
3. Attente de l’analyse automatique et de l’indexation des fichiers.
4. Définir l’identité de l’agent, les tâches et la zone d’interdiction.
5. Ajouter une recherche de fichiers et restreindre les fichiers ou les étiquettes.
6. Problèmes de représentativité liés à une exécution à faible budget.
7. Vérifier les citations, les réponses et les rapports de validation.
8. Enregistrer l’agent et l’intégrer à l’application de test via l’API.

Tutoriel de configuration des exigences

1. Écrire séparément les objectifs de la tâche et les exigences d’évaluation.
2. Utilisez des noms clairs pour chaque exigence.
3. Décrire le contenu, le format, le ton et les barrières de protection.
4. Éviter des exigences contradictoires ou non vérifiables.
5. Définir un budget approprié et effectuer des tests.
6. Vérifiez le score de chaque exigence et la raison de l’échec.
7. Réexécuter les tests après avoir modifié les exigences ou les outils.

Guide d’intégration de l’outil MCP

1. Vérifier que le serveur MCP est accessible en toute sécurité via Internet.
2. Évaluer les capacités de l’outil, ses paramètres et les risques d’écriture.
3. Configurer des identités dédiées et une authentification aux minimums de privilèges.
4. Ajouter un service distant dans les paramètres de l’outil Maestro.
5. Utiliser des données lues seule et des données de test pour valider les appels.
6. Ajouter une approbation manuelle pour les actions sensibles.
7. Surveiller les logs d’appel, les erreurs et les coûts d’anomalies.

Processus d’évaluation et de mise en ligne

1. Créer un ensemble de données de tâches réelles et de réponses correctes.
2. Définir les indicateurs de précision de la définition, du taux de satisfaction des exigences et des retards.
3. Tester séparément différents modèles et niveaux de budget.
4. Vérification échouée, réponses refusées et appels d’outils incorrects.
5. Calculez le coût total de chaque résultat conforme.
6. Mise en ligne à faible débit avec vérification manuelle conservée.
7. Surveiller en continu les dérives des données, des modèles et des tâches.

Sécurité et gouvernance des données

• Seules les informations d’entreprise autorisées peuvent être téléchargées.
• Définir les droits d’accès pour les fichiers, les agents et les projets.
• BYOK utilise des clés indépendantes et révocables.
• Appliquer le principe du moindre privilège pour les outils à distance.
• Activation de la confirmation manuelle pour les écritures sensibles.
• Définir les périodes de conservation des journaux de fonctionnement et de la documentation.
• Vérifier le centre de confiance et la portée du contrat avant l’achat.
• Supprimer les données de test et renouveler périodiquement les identifiants.

Risque de fiabilité de l’agent

• Le modèle de vérification lui-même peut également se tromper.
• Un score élevé ne signifie pas nécessairement que l’information est entièrement correcte.
• Les omissions dans la recherche limiteront la réponse finale.
• L’analyse de documents complexes peut endommager les tableaux et le contexte.
• Les modèles et outils tiers introduisent des pannes supplémentaires.
• L’exécution dynamique entraîne des fluctuations des coûts et des délais.
• Les tâches à haut risque nécessitent toujours l’approbation d’experts du domaine.

Avantages du produit

• Sélection dynamique du chemin d’exécution en temps de exécution.
• Mettre la qualité, le coût et les délais sous un même contrôle.
• Noter et corriger chaque exigence spécifique.
• Support des fichiers, des pages web et des outils MCP à distance.
• Il est possible d’organiser de manière unifiée AI21 et les modèles tiers.
• Le BYOK permet de réduire le verrouillage des modèles.
• Fournir un diagramme d’exécution et un rapport de vérification structurée.
• Les SDK officiels Python et TypeScript facilitent l’intégration.

Restrictions sur les produits

• La plateforme Maestro complète n’est pas un logiciel open source.
• Un budget élevé et des itinéraires multiples augmentent les coûts et les délais.
• La vérification ne peut pas éliminer tous les faits et erreurs de raisonnement.
• La liste des langues de réponse actuelle ne comprend pas le chinois.
• Le serveur MCP local n’est pas dans la gamme de support actuelle.
• Les permissions complexes et les appels d’outils nécessitent une gouvernance d’ingénierie.
• Le prix est influencé par plusieurs modèles et services.
• La page publique ne propose pas de forfait mensuel simple et fixe.
• Les données sensibles des entreprises nécessitent une évaluation de conformité supplémentaire.

GitHub et l’état open source

AI21 Labs dispose d’une organisation GitHub officielle, met à disposition des SDK en Python et TypeScript, dont les clients sont soumis à la licence Apache 2.0 et incluent des exemples d’appels à Maestro. Le fait que les SDK soient open source ne signifie pas que le code source de la planification dynamique de Maestro, de son moteur de validation et de sa plateforme hébergée soit également disponible.

Informations de base

Indice de recommandation

Note de recommandation : 4,6 / 5. AI21 Maestro convient aux équipes d’IA d’entreprise qui ont besoin d’intégrer RAG à haute précision et des tâches complexes liées au savoir dans leur environnement de production, tout en contrôlant les coûts et les délais.

Le choix final doit être validé à l’aide de son propre ensemble de données en ce qui concerne la précision, la qualité de l’analyse, la fiabilité de la validation, les besoins en chinois et le coût réel de chaque résultat conforme.

Questions fréquentes

Qu’est-ce que AI21 Maestro ?

C’est un système de planification dynamique utilisé pour créer, orchestrer et optimiser des RAG et des agents de connaissance de niveau production.

Maestro est-il gratuit ?

Le nouveau compte dispose d’un crédit d’essai de 10 dollars valable trois mois, après quoi il faudra payer en fonction de la consommation.

Prend-il en charge les modèles tiers ?

Les modèles tiers pris en charge par la gestion AI21 prennent également en charge les configurations BYOK d’OpenAI, Anthropic et Google.

Est-ce que c’est compatible avec le chinois ?

L’enumeration response_language publiée par l’API actuelle ne comprend pas le chinois ; il convient d’utiliser des tâches réelles pour tester d’autres modes de sortie.

Prend-il en charge MCP ?

Prend en charge les serveurs MCP distants accessibles via Internet ; actuellement, la documentation ne prend pas en charge les serveurs MCP fonctionnant uniquement en local.

Quels fichiers peuvent être téléchargés ?

Prend en charge PDF, DOCX, TXT, Markdown et HTML.

Un budget élevé est-il forcément plus précis ?

Généralement, cela augmente le nombre de chemins et d’occasions de vérification, mais cela ne garantit pas que toutes les tâches seront plus précises.

Maestro est-il open source ?

La plateforme n’est pas open source, tandis que les SDK officiels Python et TypeScript sont sous licence Apache 2.0.

Est-ce adapté pour les conversations personnelles ?

Il convient mieux aux développeurs et aux flux de travail professionnels basés sur les connaissances ; son utilisation pour des conversations ordinaires peut être trop complexe.