LlamaIndex

Was ist LlamaIndex?

LlamaIndex ist ein Datenframework für Anwendungen mit großen Sprachmodellen, das hauptsächlich dazu dient, Dokumente, Datenbanken, APIs sowie andere proprietäre Daten mit LLMs zu verbinden, um RAG-basierte generative Systeme, Wissensdatenbanken für Fragen beantworten, Dokumentenverarbeitung sowie AI-Agenten zu erstellen.

Es bietet Ökosysteme für Python und TypeScript und umfasst Datenlesung, Dokumententeilung, Embedding, Indexierung, Suchfunktionen, Abfragemotoren, Aufruf von Tools, Gedächtnisfunktionen, Bewertung sowie Workflow-Orchestrierung.

Es ist notwendig, zwei Produkte voneinander zu unterscheiden:LlamaIndex Framework Es handelt sich um ein kostenloses, open-source-Entwicklungsframework;LlamaCloud Es handelt sich um eine kommerzielle Cloud-Plattform, bei der LlamaParse für die Analyse komplexer Dokumente zuständig ist. Die Plattform bietet außerdem Funktionen zur Extraktion, Klassifizierung, Aufteilung, Indexierung, Suche sowie zum Einsatz von Agenten-Werkflows.

Offene Frameworks haben keine Lizenzgebühren, doch der Zugriff auf Modelle-APIs, Embeddings, Vektordatenbanken und Cloud-Infrastrukturen ist weiterhin kostenpflichtig.

Kernfunktionen von LlamaIndex

Datenverbindung und Dokumentenverarbeitung

LlamaIndex kann Daten aus Dateien, Webseiten, Datenbanken, SaaS-Diensten sowie benutzerdefinierten Schnittstellen lesen und den Inhalt in Dokumente sowie Knoten umwandeln. Entwickler können die Textteilung, Metadaten, auszuschließende Felder sowie die Umwandlungsprozesse konfigurieren, um Eingaben für eine anschließende Vektorindexierung, Schlüsselwortindexierung oder Wissensgraphen bereitzustellen.

Komplexe PDFs, Scans, Tabellen und Diagramme können an LlamaParse zur Verarbeitung übergeben werden.

Index, Retriever und Query Engine

Das Framework ermöglicht es, Knoten in den Speicher, Vektor-Datenbanken, Dokumentenspeicher oder Graphen-Datenbanken zu speichern, und mittels eines Retrievers werden Inhalte gefunden, die mit der Frage zusammenhängen. Der Query Engine ist für die Organisation der Suche, die Neuordnung der Ergebnisse sowie die Erstellung von Vorschlägen und Antworten zuständig, während der Chat Engine eine mehrfache Dialogfähigkeit ermöglicht.

Zu Produktionsprojekten gehören in der Regel auch Metadaten-Filterung, gemischte Suche, Neuordnung, Referenzen sowie die Erkennung von unbeantworteten Fragen.

RAG ist nicht automatisch und immer genau, sobald eine Datei hochgeladen wird. Die Qualität der Analyse, die Granularität der Aufteilung, die Embeddings, die Anzahl der zurückgerufenen Ergebnisse sowie das Modell selbst beeinflussen alle die Ergebnisse.

Es sollte ein Evaluationsset mit echten Fragen verwendet werden, um die Recall-Rate, die Richtigkeit der Antworten, die Konsistenz der Zitate, die Verzögerung sowie die Kosten zu untersuchen.

Aufruf von AI-Agenten und Tools

Der LlamaIndex Agent kann Abfragesysteme, Funktionen, Suchfunktionen, Datenbanken sowie externe APIs in Tools verpacken, wobei das Modell die Reihenfolge der Aufrufe bestimmt. Er eignet sich für die Dokumentenanalyse, Datenanalyse, Kundensupport und die Automatisierung von Geschäftsprozessen.

Bei Werkzeugen mit Nebenwirkungen sollten die Berechtigungen für Zugangsdaten eingeschränkt, Überprüfungsparameter festgelegt, Zeitlimits sowie Obergrenzen für Aufrufe gesetzt werden. Zudem sollte für Operationen wie Zahlungen, Löschungen und Veröffentlichungen eine manuelle Freigabe erforderlich sein.

Workflow-Event-basierte Orchestrierung

Workflows organisieren asynchrone Abläufe mithilfe von Ereignissen und Schritten und können Schleifen, Branching, parallele Aufgaben, Zustände sowie menschliches Eingreifen darstellen. Im Vergleich dazu, alle Logik in einen einzigen Agenten zu schreiben, eignet sich dies besser für langwierige Aufgaben, bei denen eine klare Steuerung, Wiederholungen und Überwachbarkeit erforderlich sind.

Workflows können mit den Retriever-, Agent- und LlamaCloud-Diensten von LlamaIndex kombiniert werden oder auch unabhängig in anderen Python-Anwendungen verwendet werden.

Integrierung mehrerer Modelle und Speichermedien

Das Framework kann mit verschiedenen kommerziellen oder lokalen LLMs, Embeddings, Vektordatenbanken, Graph-Datenbanken, Umordnungsmodellen sowie Observability-Plattformen verbunden werden. Die Integration wird in der Regel als eigenständige Softwarepakete bereitgestellt; Projekte sollten nur die benötigten Module installieren und die Version festlegen.

Die Stream-Ausgabe, Toolaufrufe, Bilder, die Länge des Kontexts sowie die Filtersyntax variieren bei verschiedenen Anbietern nicht vollständig; vor dem Wechsel sind Regressionstests erforderlich.

LlamaParse – Komplexe Dokumentenanalyse

LlamaParse ist ein Dienst zur Analyse von Geschäftsdokumenten, der verschiedene Formate wie PDF, Office, Präsentationen, Tabellenkalkulationen und Bilder verarbeiten kann und Ergebnisse in Form von Markdown, reinem Text, Seite für Seite als JSON, XLSX, HTML-Tabellen oder annotierten PDFs liefert.

Es bietet die Versionen Fast, Cost-effective, Agentic und Agentic Plus und eignet sich zur Extraktion von gewöhnlichem Text bis hin zum Verständnis komplexer Tabellen, Diagramme, Layouts und Bilder.

LlamaExtract und strukturierte Extraktion

LlamaExtract kann Felder aus Dokumenten gemäß einem Schema extrahieren und Angaben zu Referenzen sowie zur Zuverlässigkeit liefern; die Plattform unterstützt außerdem Klassifizierung, Aufteilung und die Extraktion von Tabellenkalkulationsdaten.

Es eignet sich für Rechnungen, Schadensersatzunterlagen, Verträge, Berichte und Due-Diligence-Dokumente, doch die extrahierten Ergebnisse sollten dennoch hinsichtlich Feldüberprüfungen, Typüberprüfungen sowie manueller Stichprobenprüfungen überprüft werden.

LlamaCloud hostet Indexe und Suchfunktionen

LlamaCloud kann die Analyse, den Dateneingang sowie das Indexieren und Suchen übernehmen, wodurch die Arbeit bei der Einrichtung eigener Dokumentenpipeline- und Vektorinfrastrukturen reduziert wird. Die kostenlosen Optionen sowie die verschiedenen kostenpflichtigen Pakete unterscheiden sich in Bezug auf die Anzahl der zu indexierenden Elemente, die Anzahl der Dateien pro Index, die Anzahl der gleichzeitigen Aufgaben, die Datenquellen, die Anzahl der Projekte sowie die Unterstützung für Unternehmenssicherheitsfunktionen.

Unternehmen können sich auch über private VPCs oder hybride Implementierungen beraten lassen.

Open Source und Lizenzen

Der Kerncode von LlamaIndex ist auf der offiziellen GitHub-Plattform verfügbar, wobei die Kernbibliothek unter der MIT-Lizenz steht. Einige integrierte Pakete sowie ihre Abhängigkeiten können unter anderen Lizenzbedingungen stehen; bei kommerzieller Nutzung sollte dies einzeln überprüft werden.

LlamaParse und LlamaCloud sind kommerzielle Dienste und gehören nicht zum Open-Source-Framework selbst. Nur weil die SDKs offen zugänglich sind, bedeutet das noch nicht, dass die Plattform frei für eine private Nutzung bereitgestellt werden kann.

Vergleich der Preise für LlamaCloud-Pakete

Die offizielle Plattform verwendet ein Punktesystem. Der aktuelle Umrechnungsfaktor in den Regionen Nordamerika und Europa beträgt 1.000 Credits = 1,25 US-Dollar. Die Punkte werden für Aufgaben wie Analyse, Indexierung, Extraktion, Speicherung und Abfragen verwendet.

Die Beträge der Pakete, die Höchstbeträge sowie die Beschränkungen können sich ändern. Vor der endgültigen Bestellung gelten die Angaben auf der Zahlungsseite sowie im Vertrag.

Offene Pakete können mehr Benutzerplätze umfassen, was jedoch nicht bedeutet, dass die Ressourcen unbegrenzt sind. Bei Starter und Pro wird ab dem Überschreiten der enthaltenen Punkte nach Verbrauch abgerechnet, wobei jeweils monatliche Obergrenzen gelten.

Modelle-APIs, externe Datenbanken und eigene Anwendungsinfrastrukturen können zusätzlich berechnet werden.

Vergleich der Preise für LlamaParse-Parser-Ebenen

Die Extraktion der Struktur kann zusätzlich 3 Credits pro Seite kosten; Tabellenkalkulationen verbrauchen in der Regel 1 Credit pro Sheet, Audioinhalte 3 Credits pro Minute. Für die Exportseiten mit gespeicherten Indizes, Suchanfragen, Chatgespräche sowie die Speicherung von Dateien gelten eigene Kostenregeln – man kann die Gesamtkosten daher nicht allein anhand der Anzahl der erstmalig verarbeiteten Seiten schätzen.

Einführung in LlamaIndex

1. Erstellen einer Projektumgebung:Erstellen Sie eine virtuelle Umgebung mit einer unterstützten Python-Version, installieren Sie die Kernpakete sowie die für die Anwendung benötigten Modelle und Bibliotheken für Vektoren.
2. Konfigurationsmodell:Konfigurieren Sie das Chat-Modell und die Embeddings. Die API-Key sollten in Umgebungsvariablen oder einem Schlüsselsystem gespeichert werden, nicht im Code-Repository.
3. Daten lesen:Testen Sie zunächst den Reader mit einer kleinen Anzahl repräsentativer Dokumente, um zu überprüfen, ob die Kodierung, Tabellen, Seitennummern und Metadaten vollständig sind.
4. Index erstellen:Wählen Sie eine Trennstrategie aus, um die Knoten in eine lokale oder externe Vektordatenbank zu schreiben, und bewahren Sie die Dokumentidentifikatoren sowie die Quellfelder auf.
5. Erstellen eines Abfragemotors:Legen Sie die Anzahl der zurückgerufenen Einträge, Filter, Neuansordnung sowie Hilfestellungen für Antworten fest, damit die Ausgabe überprüfbare Quellen enthält.
6. Erweiterung zu Agent:Verpacken Sie Suchwerkzeuge und Geschäftsfunktionen in Tools, beschränken Sie die Berechtigungen und fügen Sie für hochriskante Aktionen eine Bestätigung hinzu.
7. Komplexe Abläufe mit Workflow:Analyse, Suchen, Urteilen, Aufruf von Tools und manuelle Überprüfung in Ereignisschritte aufteilen.
8. Bewertung und Veröffentlichung:Erstellen Sie ein Testset und dokumentieren Sie Qualität, Verzögerung, Token, Punkte sowie die Fehlerrate, bevor Sie die API bereitstellen und überwachen.

LlamaIndex-Anleitung

Erstellung wiederverwendbarer professioneller Workflows

1. Erstellung von Markenvorlagen, Hierarchien für Überschriften und einer Bibliothek für häufig genutzte Seiten;
2. Reihenfolge der Erstellung von festen Datenverbindungen sowie von Dokumentenverarbeitung, Indexierung, Retriever und Query Engine sowie AI-Agenten und Toolaufrufen;
3. Legen Sie einen Schwerpunkt pro Seite fest und kontrollieren Sie die Textdichte;
4. Übertragen Sie die Fakten, die visuellen Elemente sowie die Logik der Präsentation jeweils den zuständigen Personen zur Überprüfung.
5. Testen von Schriftarten, Animationen und Proportionen bei verschiedenen Geräten;
6. Sichern Sie die Quelldateien, Versionen und die Protokolle der endgültigen Freigabe auf;

Für welche Benutzer geeignet

• Python- oder TypeScript-Entwickler für die Erstellung von Unternehmenswissensdatenbanken, Dokumenten-Frage-Antwort-Systemen und intelligenten Suchfunktionen;
• Ein AI-Team ist erforderlich, um dem Agenten Zugang zu privaten Daten, Datenbanken und Geschäftswerkzeugen zu gewähren;
• Automatisiertes Team zur Verarbeitung komplexer PDFs, Tabellen, Scans und Dokumente mit strukturierter Extraktion;
• Organisationen, die hoffen, ihre eigene RAG-Stack zu erstellen und frei Modelle, Vektordatensätze sowie Deployment-Methoden auswählen zu können;
• Unternehmen, die hoffen, die Wartung der Infrastruktur durch die Nutzung von Hosted-Resolution- und Indexierungsdiensten zu verringern.

Vorteile und Bedenken

• Der Vorteil von LlamaIndex liegt in der umfangreichen Daten- und RAG-Componentenbasis, der breiten Integration sowie der Verknüpfung von Suchfunktionen, Agenten, Workflows und einer Plattform für Geschäftsunterlagen zu einem einzigen Ökosystem.
• Entwickler können sowohl mit hochleveligen APIs schnell testen als auch die Aufteilung, das Abrufen, das Speichern und die Zusammenstellung der Antworten detailliert steuern.
• Der Preis sind viele Konzepte und Abhängigkeiten, schnelle Updates der Integrationspakete sowie alte Tutorials, die möglicherweise nicht mit der aktuellen API übereinstimmen;
• Das Projekt sollte Abhängigkeiten festlegen, die Anleitung zur Migration lesen und automatisierte Tests erstellen.
• Bei der Verwendung von Cloud-DNS muss man die Anforderungen bezüglich der Datenspeicherung, des Cachens, der Regionen sowie der Konformität berücksichtigen.
• Bei der Verarbeitung sensibler Dateien kann der Cache deaktiviert werden oder eine geeignete Unternehmensverteilung gewählt werden;
• Jedes RAG- oder Extraktionsergebnis kann Auslassungen, Fehlmatches oder Halluzinationen aufweisen; kritische Geschäftsprozesse erfordern eine Überprüfung des Originaltextes.

Häufige Fragen

Ist LlamaIndex kostenlos?

Open-Source-Frameworks sind kostenlos, die Kernpakete werden unter der MIT-Lizenz bereitgestellt. Model-APIs, Vektordatenbanken, Server sowie kommerzielle Dienste wie LlamaParse und LlamaCloud können Gebühren verlangen.

Was ist der Unterschied zwischen LlamaIndex und LangChain?

Beide können RAG und Agenten erstellen. LlamaIndex konzentriert sich langfristig stärker auf Datenverbindungen, Indexierung, Suchfunktionen sowie Dokumentintelligenz, während LangChain über eine umfangreiche Ökosysteme für universelle Agenten und Anwendungsorchestrierung verfügt.

Die tatsächliche Auswahl sollte anhand des vorhandenen Technologiestacks, der Integration, der Evaluierungs- und Implementierungsanforderungen getroffen werden.

Ist LlamaParse open source?

Keine Open-Source-Lösung. LlamaParse ist eine kommerzielle Plattform zur Analyse von Dokumenten, die monatlich kostenlose Punkte sowie kostenpflichtige Pakete anbietet;

Open Source sind das LlamaIndex Framework sowie die dazugehörigen Workflow-Codes.

Unterstützt LlamaIndex lokale Modelle?

Unterstützung ist möglich, indem lokale LLMs und Embeddings über die entsprechende Integration verbunden werden; außerdem können Indizes lokal oder in einer selbst erstellten Datenbank gespeichert werden. Ob es sich um eine vollständig offline-Operation handelt, hängt davon ab, ob alle Komponenten als lokale Dienste fungieren.

Gibt es eine TypeScript-Version von LlamaIndex?

Ja, offiziell wird LlamaIndex.TS bereitgestellt. Die Funktionalitäten sowie das Veröffentlichungstempo für Python und TypeScript können unterschiedlich sein; vor der Auswahl sollte überprüft werden, ob die benötigte Integration verfügbar ist.