Chainlit

Was ist Chainlit?

Chainlit ist ein Open-Source-Framework zur Erstellung von dialogbasierten KI-Anwendungen in Python. Es bietet fertige Chat-Oberflächen, Ereignisrückrufe, fließende Ausgaben, Schritt-für-Schritt-Anzeigen sowie Funktionen zur Bereitstellung der Anwendungen. Entwickler können ihre eigenen Modelle und Geschäftslogiken beibehalten und mit wenig Code Skripte in interaktive Webseiten oder eingebettete Assistenten umwandeln.

Ab dem 1. Mai 2025 wird das ursprüngliche Chainlit-Team keine aktive Entwicklung mehr durchführen. Anstelle dessen übernehmen die Community-Mitarbeiter gemäß einem offiziellen Wartungsabkommen die Aufgaben der Code-Überprüfung, Veröffentlichung und Sicherstellung der Stabilität des Projekts. Chainlit SAS gibt keine Zusicherungen bezüglich zukünftiger Updates ab, doch es werden weiterhin stabile Versionen des Projekts bis ins Jahr 2026 veröffentlicht.

Hauptfunktionen

Python-Chat-App mit fließender Benutzeroberfläche

• Integrieren Sie bestehende Python-Funktionen in die Chat-Oberfläche mithilfe von Lebenszyklus-Rückrufen wie Nachrichten, Chat-Starts, Audio und Sitzungen.
• Nachrichten können schrittweise in Flussform gesendet werden, was sich gut eignet, um die Zeichen für Zeichen erfolgenden Antworten großer Modelle, den Betriebszustand von Tools sowie den Fortschritt bei langwierigen Aufgaben anzuzeigen.
• Der Step-Komponente kann Modelle, Werkzeuge und Verarbeitungsschritte voneinander unterscheiden, um die Fehlersuche bei mehrstufigen Agenten zu erleichtern und dem Benutzer den Ablauf zu erklären.
• Chat-Einstellungen, Starthinweise, Modi und Chat-Profile ermöglichen es den Endnutzern, Modelle, Rollen oder Aufgabenkonfigurationen auszuwählen.
• Der Framework ist für die Interaktionsschicht zuständig und verfügt nicht über große Modelle, die kostenlos und unbegrenzt genutzt werden können; Entwickler müssen Modelle oder Inferenzdienste separat konfigurieren.

Multimodal, Dateien und Echtzeit-Audio

• Das Chat-Fenster unterstützt das Ziehen und Ablegen sowie die Auswahl von Dateien. Der Server kann aus den Nachrichtenelementen Bilder, Audiodateien, Videodateien sowie gewöhnliche Dateien abrufen.
• Der Entwickler entscheidet über die Dateityp, die Größe, die Verarbeitungsmethode sowie darüber, ob die Datei an das Modell übermittelt wird. Zudem kann er das automatische Hochladen von Dateien deaktivieren.
• Der Audio-Callback kann Echtzeit-Audio-Blöcke vom Mikrofon des Benutzers empfangen, die für Sprachassistenten, Transkription und die Verarbeitung von Echtzeit-Audio verwendet werden.
• Interfaced Elemente können Bilder, Audio, Video, PDFs, Tabellen, Diagramme und benutzerdefinierte Komponenten anzeigen.
• Eine multimodale Darstellung bedeutet nicht, dass das Modell über dieselben Fähigkeiten verfügt; ob die Eingaben verstanden werden können, hängt vom Backend-Modell und vom Entwicklungscode ab.

Modellierung, Frameworks und Agentenintegration

• Kann mit OpenAI, Mistral, LangChain, LangGraph, LlamaIndex, Semantic Kernel, AutoGen und anderen Python-Bibliotheken kombiniert werden.
• Der Callback-Handler kann Teile von Modell- oder Framework-Aufrufen in visualisierbare Schritte umwandeln, um die Toolkette und die Zwischenergebnisse besser einsehen zu können.
• Entwickler können lokale Modelle, Cloud-Modelle, Vektordatenbanken, Suchsysteme sowie benutzerdefinierte Geschäfts-APIs nutzen.
• Chainlit bindet den Modellanbieter nicht fest; Kosten, Geschwindigkeit, Kontext sowie Regeln für die Datenverwendung variieren je nach gewählter Dienstleistung.

MCP-Tool-Verbindung

• Chainlit kann über SSE, fließende Netzwerkübertragungen oder stdio mit dem MCP-Server verbunden werden, um Tools zu entdecken und die Ergebnisse der Aufrufe in den Prozess des Agents einzubringen.
• Jede WebSocket-Sitzung kann mehrere benannte MCP-Verbindungen verwalten; bei Beendigung der Sitzung werden die entsprechenden Verbindungen beendet.
• Ab Version 2.7.0 muss die MCP-Funktion in der Konfiguration ausdrücklich aktiviert werden, und es ist möglich, die verschiedenen Übertragungsweisen getrennt voneinander zu steuern.
• stdio startet echte Unterprozesse auf dem Chainlit-Server – es ist daher notwendig, eine Liste von ausführbaren Dateien zu verwenden und die Eingaben der Benutzer einzuschränken.
• Für Kooperationen auf Unternehmensebene im Rahmen von MCP kann man sich an das Projektteam wenden, doch Preise, Umfang der Unterstützung sowie Laufzeit des Services sind derzeit noch nicht bekannt.

Installation und schnelles Einarbeiten

1. Erstellen Sie eine Umgebung mit Python 3.10 oder einer neueren Version der 3.x-Reihe und schaffen Sie eine isolierte virtuelle Umgebung.
2. Installieren Sie Chainlit aus dem Python-Paket-Repository und führen Sie anschließend die integrierten Beispiele aus, um zu überprüfen, dass die Browser-Oberfläche öffnen lässt.
3. Erstellen Sie eine Python-Datei, importieren Sie Chainlit und registrieren Sie einen Nachrichten-Callback, in dem die Benutzernachrichten gelesen werden.
4. Rufen Sie Ihre eigenen Modelle, Suchwerkzeuge oder Geschäftsfunktionen auf und senden Sie die Ergebnisse über Nachrichtenobjekte oder geben Sie sie in Form eines Streams zurück.
5. Führen Sie die Anwendung aus und aktivieren Sie die automatische Neuladung während der Entwicklung, um mehrere Sitzungen, Abweichungen sowie Unterbrechungsverhalten zu testen.
6. Vor der Veröffentlichung sollten Authentifizierung, Persistenz, Protokollierung, Bandbreitenbegrenzung, Schlüsselverwaltung sowie Sicherheitsprüfungen für Eingabe und Ausgabe hinzugefügt werden.
7. Fixe Abhängigkeitsversionen festlegen und Veröffentlichungs- sowie Sicherheitsmitteilungen kontinuierlich verfolgen – alte, unkorrigierte Versionen sollten nicht über einen langen Zeitraum laufen.

Minimaler Entwicklungsworkflow

1. Definieren Sie die Ziele der Anwendung sowie den zulässigen Datenumfang, wählen Sie Modelle, Werkzeuge, Suchdatenbanken und Speichersysteme aus.
2. Man beginnt mit einem Chat, und durch Rückrufe wie Nachrichten und Beendigungen wird der Lebenszyklus der Session gesteuert.
3. Verpacken Sie den zeitaufwändigen Modellaufruf in visuelle Schritte und aktivieren Sie eine fließende Ausgabe für Inhalte, die sicher dargestellt werden können.
4. Einstellen von Allowlists, Größenbeschränkungen, Zeitüberschreitungskontrollen und Berechtigkeitsprüfungen für Dateien, Audiodateien und MCP-Tools.
5. Konfigurieren Sie die Benutzerauthentifizierung und eindeutige Benutzeridentifikatoren, um sicherzustellen, dass verschiedene Konten nicht in die Sessions voneinander eingreifen können.
6. Verbinden Sie die Datenschicht und testen Sie den gesamten Prozess der Erstellung, Wiederherstellung, Löschung und Exportierung von Chatdaten.
7. Durchführung von Last- und Fehlertests in Umgebungen mit Proxies, WebSocket sowie mehreren Instanzen, die der Produktion entsprechen.
8. Überwachen nach dem Bereitstellen von Fehlern, Modellkosten, Abhängigkeitslücken, ungewöhnlichen Toolaufrufen und Datenhaltungsaufgaben.

Eingabe, Ausgabe und Anwendungsformen

Zertifizierung und Datenspeicherung

Zertifizierung ist keine Sicherheitsmaßnahme, die nach der Installation automatisch aktiviert wird; nicht konfigurierte Anwendungen sind standardmäßig zugänglich. Nach Aktivierung der Datenschicht muss außerdem die Autorisierung auf Objektebene getestet werden, um zu verhindern, dass zwar der Zugang überprüft wird, aber dennoch das Lesen von Threads oder Dateien zwischen Benutzern möglich ist.

Einrichtungsmethode

• Chainlit ist von WebSocket abhängig; die Hosting-Plattform und der Reverse Proxy müssen Verbindungsupgrades unterstützen.
• Bei der automatischen Skalierung ist in der Regel Session-Affinität erforderlich, da sonst derselbe Benutzer seinen Session-Zustand zwischen mehreren Instanzen verlieren kann.
• In dem Container muss die Abhör-Adresse klar angegeben werden; Produktionsbefehle sollten vermeiden, automatisch einen Browser auf der Serverseite zu öffnen.
• Die in den Rahmendokumenten aufgeführten Anleitungen für die Bereitstellung durch Dritte bedeuten nicht, dass die jeweilige Plattform kostenlos ist oder von Chainlit gewartet wird.

Preise und Kosten

Es gibt kein verifizierbares, einheitliches Cloud-Hosting-Paket erster Klasse. Dass der Kernrahmen kostenlos ist, bedeutet nicht, dass die gesamte KI-Anwendung kostenlos ist. Die Rückerstattungsregeln gelten nicht für kostenlose Code-Beispiele; bei Kooperationen mit Unternehmen sowie bei Cloud-Ressourcen und Modelldiensten müssen die entsprechenden Bedingungen im Vertrag sowie in den Richtlinien des Anbieters geprüft werden.

Lizenzierung und kommerzielle Nutzung

• Der Kern des Chainlit-Repositorys wird unter der Apache License 2.0 lizenziert und kann für persönliche, unternehmerische sowie kommerzielle Projekte verwendet werden. Zudem ist eine Änderung sowie Weiterverbreitung gestattet.
• Bei der Verbreitung von Code oder abgeleiteten Versionen müssen Lizenz, Urheberrechtsinformationen und eine Mitteilung beigefügt werden, sowie die vorgenommenen wesentlichen Änderungen angegeben werden.
• Lizenzbedingungen, Regeln für Beiträge sowie Kündigungsbedingungen sind gemäß dem vollständigen Text von Apache 2.0 anzuwenden. Die Lizenz gewährt keinen automatischen Anspruch auf die Nutzung von Marken.
• Offene Lizenzen decken die integrierten Modellgewichte, APIs, Schriftarten, Bilder, Drittanbieterkomponenten sowie Benutzerinhalte nicht ab.
• Die Software wird in ihrem aktuellen Zustand bereitgestellt; es wird weder eine Eignung für einen bestimmten Zweck noch die Freiheit von Urheberrechtsverletzungen zugesichert. Der kommerzielle Anwender muss eigene Mechanismen zur Unterstützung sowie zur Übernahme von Risiken schaffen.

Privatsphäre und Datenverantwortung

• Laut den Dokumenten zur Datensicherheit des Projekts sammelt das Framework ab Version 2.6.1 keine Benutzerdaten mehr.
• Diese Erläuterung bedeutet nicht, dass die von den Entwicklern bereitgestellten Anwendungen keine Daten sammeln – schließlich können Modelle, Datenbanken, Objektspeicher, Protokolle sowie Identitätsdienste weiterhin Informationen verarbeiten.
• Die Standard-Einstellung, dass Chats nicht persistent gespeichert werden, kann die Menge der in der Datenbank gespeicherten Daten verringern. Allerdings können Modelleinsätze, Reverse-Proxy-Systeme sowie Betriebsprotokolle weiterhin Inhalte oder Metadaten hinterlassen.
• Der Betreiber der Anwendung muss seine eigenen Informationen zur Datensicherheit, die Rechtfertigungen für die Verarbeitung, die Aufbewahrungsfristen, den Löschprozess sowie eine Liste der Drittanbieter, die mit den Daten arbeiten, bereitstellen.
• Bei der Verarbeitung von Unternehmensgeheimnissen oder sensiblen persönlichen Daten sollten geeignete Modellbereiche, verschlüsselter Speicher, minimale Berechtigungen sowie auditable Zugriffskontrollen gewählt werden.
• Für die Hochladen von Dateien und Audiodateien sollten Regeln für Typ, Größe, Scannen, Isolierung und automatische Löschung festgelegt werden; man darf sich nicht nur auf Einschränkungen auf der Benutzeroberfläche verlassen.

Sicherheitshinweise

• Es sollte die aktuelle stabile Version verwendet werden, und die Abhängigkeiten sollten regelmäßig auf Aktualisierungen überprüft werden; zum Zeitpunkt der Überprüfung war die aktuelle stabile Version von PyPI 2.11.1.
• In den Versionen vor 2.9.4 gab es ein bekanntes Problem der Serverseitigen Anfragenfälschung; insbesondere bei der Nutzung der SQLAlchemy-Datenlage ist ein Upgrade erforderlich.
• 2.10.1 Es wurden Probleme bei der Wiederherstellung von WebSocket-Sessions sowie bei der Überprüfung bereits authentisierter Benutzer behoben; die alte Produktversion sollte nicht länger bereitgestellt werden.
• Die Anwendung ist standardmäßig öffentlich; vor der Bereitstellung müssen Authentifizierungschlüssel, Authentifizierungs-Callback-Funktionen, eindeutige Benutzeridentifikatoren sowie Objektberechtigungen konfiguriert werden.
• Die stdio-Methode von MCP startet einen Server-Subprozess, erlaubt nur vertrauenswürdige Befehle und beschränkt Parameter, Arbeitsverzeichnisse sowie Netzwerk- und Systemrechte.
• Zeigen Sie normalen Benutzern nicht direkt ungesäuberte Modellgedankenketten, Systemhinweise, Schlüssel, Parameter interner Tools oder Fehlerstapel.
• Die Größe des Teams zur Wartung der Community ist begrenzt; die Ziele der Sicherheitspolitik entsprechen nicht unbedingt Verpflichtungen zur sofortigen Behebung von Fehlern. Unternehmen sollten über Prozesse verfügen, um eigenständig zu bewerten und Patches anzuwenden.

Vorteile und Grenzen der Fähigkeiten

Zusammenfassung

Chainlit eignet sich für Entwickler, die mit Python schnell Chatbots, Suchassistenten, Sprachanwendungen oder MCP-Agenten erstellen möchten. Der Vorteil liegt in der bereits vorhandenen Interaktionslayer-Struktur, der umfassenden Integration sowie der Möglichkeit zur selbstständigen Verwaltung. Bei der Einführung in die Produktion sollten der Zustand der Community-Wartung, die Trennung von Identitäten und Daten, die Einrichtung von WebSocket-Verbindungen sowie die Kosten und Sicherheitsaspekte Drittanbieter in den langfristigen Wartungsplan einbezogen werden.