AnythingLLM

Was ist AnythingLLM?

AnythingLLM ist ein kostenloses, open-source-basiertes AI-Hilfsmittel, eine Dokumentenwissensdatenbank sowie eine Agentenplattform, die von Mintplex Labs entwickelt wurde. Es kann Dateien wie PDFs, Word-Dokumente, Texte und Webseiten in einen Arbeitsbereich organisieren. Durch RAG-Technologien wird die Erstellung von Antworten verbessert. Zudem kann AnythingLLM lokale oder cloud-basierte Großmodelle, Vektordatenbanken, Embeddings sowie Sprach- und Suchdienste verbinden, um weitere Tools aufzurufen und Automatisierungsprozesse durchzuführen.

Ein Merkmal von AnythingLLM ist, dass es Modelle, Dokumente, Vektorabfragen, Dialoge, Agenten sowie Berechtigungsverwaltung in einer einzigen Benutzeroberfläche zusammenführt. Privatnutzer können die Desktop-Version installieren, um eine lokale Wissensdatenbank auf ihrem eigenen Computer zu erstellen.

Das Team kann Docker-Versionen auf Servern bereitstellen, um mehrere Benutzerarbeitsbereiche zu erstellen; Nutzer, die sich nicht um den Server kümmern möchten, können auch eine offizielle Cloud-Lösung wählen.

Die Software selbst ist unter einer Open-Source-Lizenz verfügbar und unterliegt der MIT-Lizenz. Allerdings können die integrierten Modelle, APIs, Cloud-Dienste sowie Drittanbieterdienste zusätzliche Kosten verursachen.

Kernfunktionen von AnythingLLM

Dokumenten-Fragen-Beantwortung und RAG-Wissensdatenbank

Benutzer können Materialien in den Arbeitsbereich hochladen. Das System analysiert den Text, teilt ihn in Abschnitte auf, erzeugt Embeddings und speichert sie in einer Vektordatenbank. Bei der Beantwortung von Fragen sucht AnythingLLM zunächst nach den relevanten Abschnitten und übermittelt diese anschließend dem Modell zur Erstellung der Antwort.

Für verschiedene Projekte können eigene Arbeitsbereiche erstellt werden, in denen jeweils Prompte, Modelle, Temperaturwerte, Dialogmodi sowie verfügbare Dokumente festgelegt werden können. Dies eignet sich für Personaldatenbanken, Produkthandbücher, Lehrmaterialien, interne Richtlinien und Kundensupport.

Die Standard-Vektordatenbank ist LanceDB lokal. Indizes und eingebettete Daten werden in der aktuellen Instanz gespeichert; es wird auch die Verbindung zu externen Vektordatenbanken unterstützt. Die Vektordatenbank ist eine systemweite Einstellung und wird nicht für jedes Arbeitsgebiet separat gewählt.

Nach dem Wechsel der Datenbank ist in der Regel eine erneute Einbettung der Dokumente erforderlich. Deshalb sollte vor der Migration der Speicherordner gesichert werden und Zeit für den Neuaufbau der Indizes eingeplant werden.

Lokale Modelle und Cloud-Modelle

AnythingLLM kann lokale Modelle wie Ollama und LM Studio verbinden und unterstützt außerdem verschiedene kommerzielle API-Modelle sowie OpenAI-kompatible Schnittstellen. Wenn ausschließlich lokale Modelle, lokale Embeddings sowie lokale Vektorbibliotheken verwendet werden, können Dokumente, Vektoren sowie der Hauptrechenprozess auf dem eigenen Gerät oder Server verbleiben.

Sobald Cloud-Modelle, gesuchte Informationen im Internet, externe MCPs oder Drittanbieter-Stimmservices aktiviert werden, werden die entsprechenden Anweisungen und Daten an den zuständigen Dienstleister übermittelt.

Die Funktion zur Modellroutierung kann Aufgaben gemäß bestimmten Regeln zwischen lokalen und Cloud-Modellen verteilen – beispielsweise werden einfache Fragen an kostengünstige lokale Modelle weitergeleitet, während komplexe Berechnungen an leistungsstärkere Cloud-Modelle übertragen werden. Die Routierung garantiert jedoch nicht automatisch Qualität oder Datenschutz; der Betreiber muss weiterhin festlegen, welche Daten das Intranet verlassen dürfen, und die Fähigkeiten der jeweiligen Modelle in Bezug auf Kontextverarbeitung, Toolaufrufe sowie strukturierte Ausgaben prüfen.

AI-Agenten und Agent-Flüsse

Der integrierte Agent kann Werkzeuge wie Websuche, Dokumentensuche, SQL, Dateien sowie benutzerdefinierte Fähigkeiten aufrufen. Agent Flows kombiniert in einer visualisierten Weise Trigger, Modelle, Werkzeuge und bedingte Abläufe, um wiederkehrende Forschungsarbeiten, Datenaufbereitung sowie Geschäftsprozesse zu erstellen.

Zeitgesteuerte Aufgaben können außerdem Agent-Prozesse nach Plan ausführen, eine Ausführungshistorie speichern und Benachrichtigungen senden.

Wenn ein Agent über echte Tools-Rechte verfügt, besteht die Gefahr von Fehlbedienungen, Einflussnahme durch Eingabefehler sowie Datenlecks. Es wird empfohlen, Credentials mit eingeschränkten Rechten zu verwenden, den Netzwerk- und Dateizugriff einzuschränken, für hochriskante Aktionen wie das Versenden von E-Mails, die Änderung von Datenbanken oder das Löschen von Dateien eine manuelle Bestätigung erforderlich zu machen und außerdem Protokolle sowie Obergrenzen für erfolglose Wiederholungsversuche zu speichern.

Erweiterungen für MCP-Tools

AnythingLLM unterstützt den Zugriff auf Dateien, Browser, Datenbanken und andere Tools über MCP. Die Desktop-Version erfordert eine vorherige Installation der entsprechenden MCP-Dienstabhängigkeiten, wie z. B. Node, npx, uv oder uvx, sowie dass die Befehle im System-PATH enthalten sind.

Auch die Docker-Version kann einen MCP-Dienst konfigurieren, wobei die Konfiguration sowie die Abhängigkeiten korrekt in den Container oder in die persistente Speicherung eingefügt werden müssen.

In den offiziellen Dokumentationen wird klar erklärt, dass MCP sowohl in der Desktop-Version als auch in der selbst gehosteten Docker-Version verwendet werden kann. Die offiziell gehostete Cloud-Version bietet dieser Funktion derzeit keine Unterstützung. Bevor man eine Drittanbieter-MCP-Lösung installiert, sollte man die Quelle des Codes, die Berechtigungen sowie die Umgebungsvariablen überprüfen. Produktions-Keys sollten nicht direkt in gemeinsam genutzte Konfigurationsdateien eingefügt werden.

Desktop-Assistent und Anwendungsintegration

Der Desktop-Assistent kann über ein Pop-up-Fenster in dem Betriebssystem auf KI zurückgreifen und den Kontext der aktuell geöffneten Anwendungen nutzen, um bei der Stellung von Fragen zu helfen. Zudem bietet das Produkt Integrationsmöglichkeiten mit Anwendungen wie Gmail, Outlook und Google Calendar, wodurch der Agent autorisierte Daten lesen oder verarbeiten kann.

Der tatsächliche Einsatzbereich solcher Funktionen hängt von der Version, den Zugriffsrechten des Kontos sowie dem Dienstgebiet ab. Bei E-Mails oder Kalendern sollten nur die notwendigsten Zugriffsrechte verwendet werden, und veraltete Verbindungen sollten regelmäßig gekündigt werden.

Mehrfachnutzer, Berechtigungen und eingebettete Komponenten

Die Docker-Version unterstützt den Einzelpersonen- und Mehrbenutzermodus. Der Administrator kann Mitglieder erstellen, Rollen zuweisen, Arbeitsbereiche sowie Dokumente teilen und Chat-Funktionen in Webseiten einbinden. Wenn die Eingabemöglichkeiten für den Chat nicht durch eine Whitelist eingeschränkt werden, können Anfragen von beliebigen Quellen angenommen werden.

Für die Veröffentlichung im öffentlichen Netzwerk sollten strenge Allowlists, Authentifizierung, Beschränkungen der Zugriffshäufigkeit sowie Sicherheitsrichtlinien für Reverse-Proxy-Server aktiviert werden.

Vergleich der Versionen und Preise von AnythingLLM

Sowohl die Desktop-Version von AnythingLLM als auch die selbst gehostete Docker-Version des Softwareprodukts können kostenlos genutzt werden. Der offizielle Cloud-Dienst ist hingegen ein gehosteter Service; die genauen Pakete, Kapazitäten und Preise können sich ändern. Es sollten daher die Informationen auf der Abonnement- oder Rechnungsseite im Konto herangezogen werden.

Kostenlos im lokalen Umfeld bedeutet nicht, dass es keine Kosten gibt: Geräte, Server, Strom, Speicherung, Backups sowie externe Modell-APIs müssen gesondert berechnet werden.

Vergleich der Methoden zur Implementierung von Modellen und Daten

Anleitung zur Docker-Deployment von AnythingLLM

1. Vorbereitung der Umgebung:Installieren Sie Docker auf dem Server und stellen Sie sicher, dass die Festplatte, der Arbeitsspeicher, die Ports sowie die Domainnamen den Anforderungen an die Anzahl der Nutzer sowie die Größe der Modelle entsprechen.
2. Erstellen eines persistenten Verzeichnisses:Mappen Sie den Verzeichnispfad des Host-Systems auf einen Speicherpfad innerhalb des Containers. Wenn die persistenten Volumes nicht richtig montiert werden, können Arbeitsbereiche, Dokumente und Einstellungen nach Löschung oder Neuerstellung des Containers verloren gehen.
3. Container starten:Konfigurieren Sie die Service-Ports gemäß dem offiziellen Spiegelbild – so kann man zum ersten Mal über die lokalen Ports auf die Initialisierungsseite zugreifen. Public-Server sollten keine unauthentifizierten Ports direkt freigeben.
4. Modell- und Embedding-Wahl:Verbinden Sie den lokalen Ollama, kompatible Schnittstellen oder Cloud-APIs und richten Sie jeweils die Chat-Modelle, Embeddings sowie die Vektor-Datenbank ein.
5. Erstellen eines Arbeitsbereichs:Erstellen Sie ein Projekt, legen Sie System-Hinweise sowie Suchparameter fest und laden Sie anschließend einige Testdokumente hoch, um die Qualität der Analyse, der Zitierungen sowie der chinesischen Antworten zu überprüfen.
6. Konfiguration der Benutzerrechte:Wenn das Team es verwendet, wird der Mehrbenutzermodus aktiviert, um zwischen Administratoren und gewöhnlichen Mitgliedern zu unterscheiden, wobei nur die notwendigen Arbeitsbereiche geteilt werden.
7. Erhöhung der Sicherheitsebene:Konfigurieren von HTTPS, Reverse Proxy, starken Passwörtern, Whitelist für Quellen, Zugriffsbeschränkungen und Firewall; Schlüssel werden über Umgebungsvariablen oder Key-Management-Dienste verwendet.
8. Backups und Überwachung:Führen Sie regelmäßige Backups der persistenten Verzeichnisse und externen Datenbanken durch und dokumentieren Sie die Kosten für Modelle, den Datenträgerwachstum, fehlgeschlagene Aufgaben sowie Aufrufe der Agent-Tools.

Anleitung für AnythingLLM

Erstellung wiederverwendbarer professioneller Workflows

1. Komplexe Themen in vier Kategorien von Fragen aufteilen: Hintergrund, Daten, Vergleiche und Schlussfolgerungen;
2. Kombinierte Dokumentenfragen und -antworten mit dem RAG-Wissensspeicher, lokale Modelle und Cloud-Modelle sowie AI-Agenten und Agent-Flows bilden feste Forschungsschritte.
3. Zuerst sollten die offiziellen Webseiten, wissenschaftliche Arbeiten, regulatorische Dokumente und Rohdaten verwendet werden;
4. Für Schlussfolgerungen mit hohem Risiko wird eine zweite Überprüfung durchgeführt;
5. Abfragen, Beweise, Versionen und ungelöste Probleme speichern;
6. Nach Änderungen der Daten erneut ausführen und die Schlussfolgerungen aktualisieren;

Für welche Nutzer eignet sich AnythingLLM?

• Anwender, die eine persönliche Dokumenten-Datenbank am Computer erstellen und Daten möglichst lokal verarbeiten möchten;
• Ein Team, das interne FAQs für Unternehmensrichtlinien, Produkthandbücher oder Projektunterlagen bereitstellen muss;
• Techniker, die hoffen, RAG sowie mehrbenutzerfähige KI-Assistenten mittels Docker privat bereitstellen zu können;
• KI-Nutzer, die mehrere lokale und Cloud-Modelle verbinden müssen und je nach Aufgabe zwischen den Modellen wechseln.
• Entwickler, die planen, automatisierte Workflows mit Agent Flows, MCP und Zeitplanaufgaben zu erstellen.

Vorteile und Einschränkungen bei der Verwendung

• Die Vorteile von AnythingLLM sind seine kostenlose und open-source-Base, zahlreiche Deployment-Möglichkeiten, eine vollständige Benutzeroberfläche sowie die Unterstützung für Funktionen wie RAG-Dokumentverwaltung, mehrere Modelle, Agenten, Workflows und Teamrechte.
• Die Desktop-Version senkt die Hürden für den Zugang zu lokalen Wissensdatenbanken, während die Docker-Version es erleichtert, die Lage der Daten sowie die Infrastruktur zu verwalten.
• Es sorgt nicht dafür, dass RAG automatisch präzise ist;
• Die Analyse der Scans, die Struktur der Tabellen, die Aufteilung in Blöcke, die Embedding-Modelle, die Anzahl der abgerufenen Ergebnisse sowie die Qualität der ursprünglichen Daten beeinflussen alle die Ergebnisse.
• Die Schlussfolgerungen sollten dennoch im Originaltext überprüft werden;
• Selbstverwaltung bedeutet nicht automatische Sicherheit – der Administrator ist für Updates, Backups, Authentifizierung, Netzwerkisolation und Schlüsselschutz verantwortlich.
• Die von dem Modell erzeugten Inhalte können Fehler enthalten. Medizinische, rechtliche, finanzielle sowie produktionstechnische Abläufe sollten ohne menschliche Überprüfung nicht direkt umgesetzt werden.

Häufige Fragen

Ist AnythingLLM kostenlos?

Die Desktop-Version sowie die selbst gehostete Docker-Version sind kostenlos und open source. Die eigene Bereitstellung führt zu Kosten für Hardware oder Cloud-Server. Zudem können Dritte Gebühren verlangen, wenn es um Geschäftsmodelle, Suchfunktionen, Sprachfunktionen oder externe Datenbanken geht.

Die offizielle Cloud-Hosting-Lösung wird nach der Anzahl der Abonnements abgerechnet.

Kann AnythingLLM vollständig offline verwendet werden?

Ja. Wenn man lokale Modelle, lokale Embeddings sowie eine lokale Vektordatenbank wählt und die benötigten Komponenten im Voraus herunterlädt, ist es möglich, im Netzwerklosen Modus grundlegende Fragen zu Dokumenten zu beantworten.

Cloud-Modelle, Web-Suchen und externe MCP-Funktionen benötigen weiterhin eine Internetverbindung.

Wie wählt man zwischen der Desktop-Version und der Docker-Version?

Für den persönlichen Einsatz an einem einzelnen Computer ist die Desktop-Version vorzuziehen; bei Bedarf an Fernzugriff, Mehrbenutzerfunktionen, Berechtigungsverwaltung, Einbettung in Webseiten oder einer zentralen Serverbereitstellung sollte die Docker-Version gewählt werden.

Unterstützt AnythingLLM MCP?

Die Desktop-Version sowie die selbst gehostete Docker-Version unterstützen MCP, erfordern jedoch die Installation der entsprechenden Laufumgebung und die Konfiguration des Services. Die offiziell gehostete Cloud-Version unterstützt derzeit MCP nicht.

Ist AnythingLLM offen source?

Open Source – das offizielle Hauptrepositorium wird unter der MIT-Lizenz bereitgestellt. Die verwendeten Modellgewichte, Drittanbieter-APIs, Datenbanken sowie MCP-Dienste unterliegen weiterhin ihren jeweiligen Lizenzbedingungen und Nutzungsrichtlinien.