LlamaIndex

Qu’est-ce que LlamaIndex ?

LlamaIndex est un cadre de données conçu pour les applications basées sur des grands modèles de langage, principalement utilisé pour relier des documents, des bases de données, des API et d’autres données privées aux LLM, afin de créer des systèmes de génération améliorée par la recherche RAG, des systèmes de questions-réponses basés sur une base de connaissances, du traitement de documents et des agents IA.

Il offre des écosystèmes Python et TypeScript, couvrant la lecture de données, le découpage de documents, les embeddings, l’indexation, la recherche, les moteurs de requête, l’appel d’outils, la mémoire, l’évaluation et l’orchestration de workflows.

Il faut distinguer deux produits :LlamaIndex Framework C’est un framework de développement libre et open source ;LlamaCloud Il s’agit d’une plateforme cloud commerciale, où LlamaParse est chargé de l’analyse des documents complexes ; la plateforme offre également des fonctionnalités d’extraction, de classification, de segmentation, d’indexation, de recherche et de workflows d’agents.

Les frameworks open source ne comportent pas de frais de licence, mais l’utilisation des APIs de modèles, des Embeddings, des bases de données vectorielles et de l’infrastructure cloud entraîne néanmoins des coûts.

Fonctionnalités clés de LlamaIndex

Connexion aux données et traitement de documents

LlamaIndex peut lire des données à partir de fichiers, de pages web, de bases de données, de solutions SaaS et d’interfaces personnalisées, puis convertir ces contenus en documents et en nœuds. Les développeurs peuvent configurer la segmentation du texte, les métadonnées, les champs à exclure ainsi que les pipelines de conversion, afin de fournir des entrées pour l’indexation vectorielle, l’indexation par mots-clés ou les graphes de connaissances ultérieurs.

Les PDF complexes, les scans, les tableaux et les graphiques peuvent être traités par LlamaParse.

Index, Retriever et moteur de requête

Le framework permet d’écrire les nœuds en mémoire, dans une base de données vectorielle, un système de stockage de documents ou une base de données graphique, et de trouver du contenu pertinent pour la question à l’aide d’un Retriever. Le Query Engine est chargé d’organiser la recherche, de réordonner les résultats, de générer des prompts et de synthétiser les réponses, tandis que le Chat Engine ajoute la capacité à avoir des dialogues à plusieurs tours.

Les projets de production nécessitent généralement également le filtrage des métadonnées, la recherche mixte, le réarrangement, les références et la détermination des cas sans réponse.

RAG n’est pas automatiquement précis dès le téléchargement d’un fichier. La qualité de la parsing, la granularité du découpage, les embeddings, le nombre de résultats récupérés et le modèle influencent tous les résultats.

Un ensemble d’évaluation doit être constitué à partir de problèmes réels, afin d’observer respectivement le taux de rappel, la justesse des réponses, la cohérence des références, le délai et le coût.

Agents d’IA et appels d’outils

LlamaIndex Agent peut encapsuler des moteurs de recherche, des fonctions, des outils de recherche, des bases de données et des API externes en outils, la séquence d’appel étant déterminée par le modèle. Il est adapté à l’étude de documents, à l’analyse de données, au support client et à l’automatisation des processus métier.

Face à des outils ayant des effets secondaires, il convient de limiter les droits d’accès aux identifiants, de vérifier les paramètres, de définir des délais d’attente et des plafonds d’appels, ainsi que d’ajouter une validation manuelle pour les opérations de paiement, de suppression, de publication, etc.

Orchestration déclenchée par des événements dans les workflows

Les workflows organisent les processus asynchrones à l’aide d’événements et d’étapes, permettant d’exprimer des boucles, des branches, des tâches parallèles, des états et une intervention humaine. Par rapport à l’écriture de toute la logique dans un seul agent, ils conviennent mieux aux tâches longues nécessitant un contrôle précis, des tentatives de réessai et une capacité d’observation.

Le flux de travail peut être combiné avec les services Retriever, Agent et LlamaCloud de LlamaIndex, ou utilisé indépendamment dans d’autres applications Python.

Intégration de multiples modèles et de multiples stockages

Le framework peut se connecter à divers LLM commerciaux ou locaux, à des Embeddings, à des bases de données vectorielles, à des bases de données graphiques, à des modèles de retraitement et à des plateformes d’observabilité. L’intégration est généralement publiée en tant que package logiciel indépendant ; le projet ne doit installer que les modules nécessaires et verrouiller la version.

La sortie en flux, les appels d’outils, les images, la longueur du contexte et la syntaxe de filtrage varient selon les fournisseurs ; des tests de régression sont nécessaires avant le changement.

Analyse de documents complexes LlamaParse

LlamaParse est un service de traitement de documents professionnels capable de gérer divers formats tels que PDF, Office, présentations, feuilles de calcul et images, et de produire du Markdown, du texte brut, du JSON par page, des fichiers XLSX, des tableaux HTML ou des PDF annotés.

Il propose des niveaux Fast, Cost-effective, Agentic et Agentic Plus, adaptés à l’extraction de texte simple ainsi qu’à la compréhension de tableaux complexes, de graphiques, de maquettes et d’images.

LlamaExtract et extraction structurée

LlamaExtract peut extraire des champs à partir de documents selon un schéma, et fournir des références ainsi qu’un niveau de confiance ; la plateforme prend également en charge le classement, la segmentation et l’ extraction de données de feuille de calcul.

Il convient aux factures, aux documents de sinistre, aux contrats, aux rapports et aux documents d’audit, mais les résultats de l’extraction doivent néanmoins faire l’objet de vérifications de champs, de validation de types et d’un échantillonnage manuel.

Indexation et recherche hébergées par LlamaCloud

LlamaCloud peut gérer l’analyse, l’ingestion de données, l’indexation et la recherche, réduisant ainsi le travail lié à la création de pipelines de documents et d’infrastructures vectorielles personnalisés. Les versions gratuites et les différents forfaits payants diffèrent en termes de nombre d’index, de nombre de fichiers par index, de tâches simultanées, de sources de données, de nombre de projets, ainsi que des fonctionnalités de soutien et de sécurité d’entreprise.

Les entreprises peuvent également consulter les VPC privées ou le déploiement hybride.

Logiciels libres et licences

Le code source principal de LlamaIndex est disponible sur GitHub officiel, et le paquet principal est soumis à la licence MIT. Certains paquets d’intégration et leurs dépendances peuvent être soumis à des licences différentes ; il convient de vérifier chaque élément en cas d’utilisation commerciale.

LlamaParse et LlamaCloud sont des services commerciaux ; ils ne font pas partie de l’ossature d’un framework open source. Le fait que les SDK soient open source ne signifie pas pour autant que la plateforme puisse être déployée en mode privé librement.

Comparaison des prix des forfaits LlamaCloud

La plateforme officielle utilise un système de points, où le taux de conversion standard pour les régions Amérique du Nord et Europe est de 1 000 crédits = 1,25 dollar américain. Les points sont utilisés pour des opérations telles que l’analyse, l’indexation, l’extraction, le stockage et la recherche.

Le montant du forfait, les limites de crédit et les restrictions de flux peuvent être modifiés ; avant l’achat officiel, il convient de se référer à la page de règlement et au contrat.

Les forfaits publics peuvent inclure un grand nombre de places utilisateur, mais cela ne signifie pas que les ressources soient illimitées. Pour Starter et Pro, le tarif est calculé en fonction de l’utilisation au-delà des points inclus, avec des plafonds mensuels respectifs.

L’API du modèle, les bases de données externes et l’infrastructure d’applications personnalisées peuvent être facturées séparément.

Comparaison des prix des niveaux de parsing LlamaParse

L’extraction de la mise en page peut coûter 3 crédits supplémentaires par page, les feuilles de calcul coûtent généralement 1 crédit par feuille, et l’audio 3 crédits par minute. Les pages d’exportation des index hébergés, les requêtes de recherche, les séances de chat et le stockage des fichiers conservés ont également leurs propres règles de crédits ; il n’est donc pas possible d’estimer le coût total en se basant uniquement sur le nombre de pages analysées pour la première fois.

Guide d’introduction à LlamaIndex

1. Créer l’environnement du projet :Créer un environnement virtuel avec une version Python prise en charge, puis installer les paquets de base ainsi que les paquets d’intégration des modèles et des bibliothèques vectorielles nécessaires.
2. Modèle de configuration :Définir le modèle de chat et les embeddings. La clé API doit être placée dans une variable d’environnement ou un système de gestion des clés, et non dans le répertoire du code.
3. Lire les données :Testez d’abord le lecteur avec un petit nombre de documents représentatifs pour vérifier que l’encodage, les tableaux, les numéros de page et les métadonnées sont complets.
4. Créer un index :Choisir une stratégie de segmentation pour écrire les nœuds dans une base de données vectorielle locale ou externe, tout en conservant l’identifiant du document et les champs de source.
5. Créer un moteur de requêtes :Définir le nombre de rappels, le filtrage, le réarrangement et les prompts de réponse afin que la sortie contienne des références vérifiables.
6. Étendre en Agent :Encapsuler les outils de recherche et les fonctions métier en outils, restreindre les droits d’accès, et ajouter une confirmation pour les actions à haut risque.
7. Utilisation de Workflow pour les processus complexes :Séparer l’analyse, la recherche, le jugement, l’appel d’outils et la vérification manuelle en étapes d’événements.
8. Évaluation et mise en ligne :Créer un ensemble de test, enregistrer la qualité, le délai, les tokens, les points et le taux d’échec, puis déployer l’API et assurer sa surveillance.

Guide d'utilisation de LlamaIndex

Créer des flux de travail professionnels réutilisables

1. Créer des modèles de marque, une hiérarchie de titres et une bibliothèque de pages fréquemment utilisées ;
2. Ordre de création des connexions de données fixes, du traitement de documents, de l’indexation, du Retriever et du Query Engine, ainsi que de l’AI Agent et des appels d’outils ;
3. Définir un point clé par page et contrôler la densité du texte ;
4. Confier l’examen des faits, de l’aspect visuel et de la logique du discours respectivement aux responsables compétents ;
5. Tester les polices, les animations et les proportions sur différents appareils ;
6. Conserver les fichiers sources, les versions et les enregistrements d’approbation finale ;

À qui s’adresse-t-il

• Ingénieur en Python ou TypeScript pour développer des bases de connaissances d’entreprise, des systèmes de questions-réponses documentaires et une recherche intelligente ;
• Équipe d’IA qui doit permettre à l’agent d’accéder à des données privées, à des bases de données et à des outils métier ;
• Équipe d’automatisation pour le traitement de PDF complexes, de tableaux, de scans et d’extraction structurée de documents ;
• Les organisations qui souhaitent créer leur propre pile RAG et choisir librement les modèles, les bases de vecteurs et les méthodes de déploiement ;
• Les entreprises qui souhaitent réduire la maintenance de leur infrastructure en utilisant des services de résolution et d’indexation gérés.

Avantages et précautions

• L’avantage de LlamaIndex réside dans sa richesse en données et en composants RAG, son large éventail d’intégrations, ainsi que dans le fait qu’il relie la recherche, les agents, les workflows et la plateforme de documents commerciaux en un écosystème unique.
• Les développeurs peuvent soit valider rapidement à l’aide d’API de haut niveau, soit exercer un contrôle approfondi sur la segmentation, la recherche, le stockage et la synthèse des réponses ;
• Le prix à payer est un grand nombre de concepts et de dépendances, des mises à jour rapides des paquets d’intégration, et des tutoriels anciens qui peuvent ne pas être compatibles avec l’API actuelle ;
• Le projet doit verrouiller les dépendances, lire les instructions de migration et mettre en place des tests automatisés ;
• Lors de l’utilisation de la résolution cloud, il est nécessaire d’évaluer la conservation des données, le cache, les exigences régionales et les exigences de conformité ;
• Pour traiter des fichiers sensibles, vous pouvez désactiver le cache ou choisir une implémentation d’entreprise appropriée ;
• Tous les résultats RAG ou d’extraction peuvent omettre des éléments, être inexacts ou générer des illusions ; les opérations critiques doivent être vérifiées à partir du texte original.

Questions fréquentes

LlamaIndex est-il gratuit ?

Les frameworks open source sont gratuits, et les paquets principaux sont licenciés sous la licence MIT. Les API de modèles, les bases de données vectorielles, les serveurs ainsi que des services commerciaux tels que LlamaParse et LlamaCloud peuvent être facturés.

Quelle est la différence entre LlamaIndex et LangChain ?

Les deux permettent de créer du RAG et des Agents. LlamaIndex se concentre depuis longtemps sur la connexion aux données, l’indexation, la recherche et l’intelligence documentaire, tandis que LangChain dispose d’une écosystème riche en Agents universels et en orchestration d’applications.

Le choix réel doit se baser sur l’stack technologique existant, les besoins en intégration, en évaluation et en déploiement.

LlamaParse est-il open source ?

Pas de code source ouvert. LlamaParse est une plateforme de parsing de documents commerciale, offrant des points gratuits mensuels et des forfaits payants ;

Ce qui est open source, c’est le LlamaIndex Framework ainsi que le code des flux de travail associés.

LlamaIndex prend-il en charge les modèles locaux ?

Soutien : il est possible de connecter un LLM local et des embeddings via une intégration appropriée, ou de stocker les index localement ou dans une base de données personnalisée. Le fait d’être entièrement hors ligne dépend du fait que tous les composants soient des services locaux.

Y a-t-il une version TypeScript de LlamaIndex ?

Oui, LlamaIndex.TS est fourni officiellement. La couverture des fonctionnalités et le rythme de publication pour Python et TypeScript peuvent différer ; il convient de vérifier avant le choix si l’intégration souhaitée est disponible.