Laminar

Was ist Laminar?

Laminar ist eine Open-Source-Plattform für die Überwachung, das Debuggen und die Bewertung, die speziell für KI-Agenten und große Sprachmodelle entwickelt wurde. Sie wurde vom Team von lmnr.ai entwickelt und ist in die Y Combinator S24-Auswahl aufgenommen worden. Laminar protokolliert Aufrufe der Modelle, die Verwendung von Tools, Steuerungsabläufe sowie Aktivitäten der Unteragenten und wandelt die Produktionsabläufe in suchbare, abfragbare und bewertbare Daten um.

Die Benutzer können entweder den gehosteten Laminar Cloud nutzen oder eine vollständige Open-Source-Lösung einsetzen. Das Produkt basiert auf OpenTelemetry zur Überwachung und bietet für langandauernde, mehrschrittige sowie parallele Prozesse eine übersichtlichere, dialogbasierte Überwachungsansicht.

Welche Probleme werden hauptsächlich gelöst?

• Überprüfen Sie, welche Modelle und Werkzeuge der Agent bei jedem Schritt tatsächlich aufruft.
• Fehlerhafte Positionierung, wiederholte Aufrufe, Schleifen und Kosten durch Ausnahmen.
• Automatische Erkennung von Verhaltensmustern aus der Massenproduktionsverfolgung.
• Führen Sie eine Regressionstestung durch, bevor Sie Anweisungen, Modelle oder Code ändern.
• Echte Misserfolgsfälle in ein Bewertungsdatensatz umwandeln.
• Daten werden mithilfe von SQL, Volltextsuche und Dashboard-Analysen verarbeitet.
• Sensible Tracking-Daten in der Cloud oder in eigener Infrastruktur speichern.

AI-Agenten-Tracking

Tracing protokolliert die Eingaben und Ausgaben des während der Ausführung befindlichen Agenten, die Parameter und Ergebnisse der Tools, Funktionsaufrufe, Fehler, Verzögerungen, Tokens sowie Kosten. Laminar stellt komplexe Agentenpfade in Form einer dialogbasierten Transkription dar und faltet Unteragenten zu ausklappbaren Karten zusammen, um die Verständnisschwierigkeiten bei der Betrachtung des Span-Baums zu verringern.

Automatische und manuelle Event-Tracking

Häufige Integrationen

• Client für die OpenAI-, Anthropic- und Gemini-Modelle.
• Vercel AI SDK und OpenAI Agents SDK.
• Claude Agent SDK und OpenHands SDK.
• LangChain, Mastra und Pydantic AI.
• Browser Use, Stagehand und Playwright-Browser-Proxy.
• LiteLLM und andere OpenTelemetry-kompatible Dienste.

Echtzeit-Tracking und Volltextsuche

Die Plattform kann die Span-Werte in Echtzeit anzeigen, solange der Agent noch aktiv ist – das eignet sich zur Überwachung langer Aufgaben, paralleler Unteragenten sowie Browseraktivitäten. Alle Überwachungsfunktionen unterstützen eine Volltextsuche, Feldfilterung sowie eine Tabellenansicht. Entwickler können so auf einfache Weise Abweichungen im Betrieb anhand von Fehlermeldungen, Tool-Parametern oder Benutzerinhalten ausmachen.

Wiederholung der Browser-Sitzung

Für Browser-Proxye wie Browser Use, Stagehand und Playwright kann Laminar die Seiteoperationen mit der Verfolgung durch den Proxy verknüpfen. Entwickler können sehen, warum das Modell eine bestimmte Aktion gewählt hat, und außerdem den Zustand des Browsers zum Zeitpunkt der Ausführung einsehen.

Signale-Produktionsüberwachung

Signals ermöglichen es dem Team, die zu überwachenden Ergebnisse oder Fehler in natürlicher Sprache zu beschreiben – beispielsweise ob ein Agent Werkzeuge wiederholt aufruft, nach einem Interface-Fehler gefälschte Daten erzeugt oder ob der Benutzer eine Aufgabe abbricht. Das System liest die vollständige Protokollierung und nicht nur die endgültige Antwort und erzeugt bei einer Übereinstimmung strukturierte Ereignisse.

Zusammensetzung von Signal

Signal-Arbeitsablauf

1. Die neue Verfolgung erfüllt die Auslöser- und Filterbedingungen.
2. Das System komprimiert lange Verfolgungszeichen und behält Modelle, Werkzeuge sowie die Hauptfehlerwege bei.
3. Der Signals-Proxy untersucht komprimierte Inhalte unter Berücksichtigung von Regeln der natürlichen Sprache.
4. Bei Bedarf wird der gesamte Span ausgelesen, um die genauen Eingangs- und Ausgangswerte zu überprüfen.
5. Die Entdeckungen in strukturierte Ereignisse umwandeln, die dem Schema entsprechen.
6. Die Ereignisse werden wieder dem ursprünglichen Tracking zugeordnet und in den Suchindex aufgenommen.
7. Ähnliche Ereignisse werden automatisch gruppiert, um wiederkehrende Muster zu erkennen.
8. Ereignisse, die den Regeln entsprechen, werden über Slack oder E-Mails benachrichtigt.

Der Unterschied zwischen Signals und den Bewertungen herkömmlicher LLMs

Herkömmliche Bewertungstools prüfen in der Regel nur den letzten Ausgabeteil des Modells und können so Fehler in den vorherigen Schritten, ungültige Unteragenten sowie wiederholte Aufrufe nicht erkennen. Signals liest den gesamten Ausführungspfad und kann die endgültige Schlussfolgerung mit den Ergebnissen der Zwischenschritte in Verbindung bringen.

AI Agent Debugger

Der Debugger organisiert die Untersuchung eines Problems in Sitzungen, die den ursprünglichen Ablauf, das Wiedergeben, die Bewertung, Befehle sowie Entwicklungsnotizen umfassen. Nachdem Entwickler oder Programmieragenten den Code geändert haben, können sie den aufgezeichneten Ablauf an einer bestimmten Stelle wiedergeben, wobei frühere Aufrufe desselben Modells aus dem Cache zurückgegeben werden.

Wert der Cache-Wiedergabe

Langfristige Agenten können erst nach längerer Laufzeit Probleme aufweisen, wodurch ein vollständiger Neustart erneut Zeit und Modellkosten verbraucht. Der Präfix-Cache ermöglicht es, bei der Fehlersuche nur den Teil nach den Änderungen erneut auszuführen, wodurch die Iterationen von Hinweisen, Tools und Steuerungsprozessen beschleunigt werden.

1. Führen Sie den Proxy im Debug-Modus aus und führen Sie eine vollständige Protokollierung der Verfolgung durch.
2. Lesen Sie den Transkriptinhalt und finden Sie fehlerhafte Spannungen oder ungültige Aktionen.
3. Anpassung von Hinweisen, Werkzeugen, Code oder Steuerfluss.
4. Die Aufzeichnung des ausgeführten Ablaufs wurde von der zu überprüfenden Grenze aus wiedergegeben.
5. Vergleichen Sie alte und neue Tracking-Methoden, Ausgaben, Verzögerungen und Kosten.
6. Die Auswertung mit einem festen Datensatz zeigt, dass die Behebung kein Zufall war.
7. Speichern Sie die Ergebnisse und Anmerkungen in derselben Debugging-Sitzung.
8. Veröffentlichen Sie die Änderungen erst nach Rückkehr durch das Zugangstor.

Offline-Bewertung

Die Laminar-Bewertung setzt sich aus Datensätzen, Ausführern, Bewertungswerkzeugen und Gruppennamen zusammen. Das System führt jede Eingabe parallel aus, protokolliert die Ausführungs- und Bewertungsintervalle und stellt mehrfache Ausführungen derselben Gruppe als Trends dar, um Anzeichen oder Rückfälle nach einem Modulupdate zu erkennen.

Datensätze und Annotationen

Das Team kann Bewertungsdatensätze aus der Produktverfolgung, SQL-Abfragen, Schnittstellen oder lokalen Daten erstellen und diese anschließend mit manuellen Labels aus der Annotationskollektion ergänzen. Die Einbeziehung echter Fehlerfälle und Randfälle in den Datensatz ermöglicht es, Regressionstests näher an die Probleme im Produktivbetrieb anzupassen.

• Umwandeln Sie die Suchergebnisse in Datensätze im Batch-Modus.
• Erstellen von Bewertungsbeispielen aus der Verfolgung einer einzelnen Anomalie.
• Speichern Sie die Zielantworten und Metadaten für die Datensätze.
• Verwenden Sie eine Warteschlange zur Zuweisung von Aufgaben für die manuelle Überprüfung.
• Ausführung der Bewertung in lokalen Skripten oder im Continuous-Integration-Prozess.
• Vergleichen Sie die Punkttrends mehrerer Versionen innerhalb derselben Gruppe.

Playground

Playground kann bereits verfolgte Spans wiedergeben und nach dem Ersetzen von Prompten, Modellen oder Eingaben die Ergebnisse nebeneinander vergleichen. Es eignet sich gut zur schnellen Überprüfung einer lokalen Anpassung, doch für eine offizielle Veröffentlichung sollten Tests mit mehr Beispielen verwendet werden.

SQL, MCP und Dashboards

Laminar ermöglicht es, über den integrierten SQL-Editor direkt nach Trace-Daten, Metriken und Signal-Ereignissen zu suchen. Zudem können aus den Suchergebnissen Datensätze oder Dashboards erstellt werden. Die Zugänge über CLI und MCP ermöglichen es den Programmier-Agenten, beobachtbare Daten zu lesen, Analysen durchzuführen und am Debugging-Prozess teilzunehmen.

Python und TypeScript SDK

Offiziell werden Python- und TypeScript-Client bereitgestellt, mit denen Projekt-Schlüssel initialisiert werden können, Modelle und Frameworks mit automatischer Instrumentierung unterstützt werden sowie benutzerdefinierte Logik mittels Decorators oder Funktionen abgebildet werden kann. Für Python-Pakete ist eine aktuell unterstützte Python-Version erforderlich; Abhängigkeiten sowie der Umfang der Instrumentierung sollten vor einem Upgrade anhand der Veröffentlichungshinweise überprüft werden.

1. Erstellen Sie Arbeitsbereiche, Projekte und Projekt-API-Schlüssel.
2. Installieren Sie das Python- oder TypeScript-SDK sowie die erforderlichen Integrationen.
3. Initialisieren Sie Laminar in der Startphase der Anwendung.
4. Fügen Sie für die Schlüsselunternehmensfunktionen eine observe-Umhüllung hinzu.
5. Führen Sie eine lokale Anfrage aus und überprüfen Sie die Verfolgungsebene sowie den Inhalt.
6. Hinzufügen von Benutzern, Sitzungen, Tags und Versionsmetadaten.
7. Konfigurieren von Probenahme und Verarbeitung sensibler Daten vor der Produktion.
8. Erstellen von Dashboards, Signals und Bewertungs-Zugangskontrollen.

Preise in der Cloud

Die Preisangaben wurden am 23. August 2026 überprüft. Die tatsächlichen Beträge, Steuern, Wechselkurse sowie Rabatte können sich ändern; es gilt letztendlich das, was auf der Zahlelseite angezeigt wird.

Laminar Cloud wird nach dem Basispaket, der monatlichen Menge an zu verfolgenden Daten, den Signals-Analysetoken sowie der Aufbewahrungsfrist abgerechnet. Free bietet keine Möglichkeit zur Übernutzung der Datenvolumina, während Starter und Pro weiterhin pro GB bezahlen können, wenn das zugewiesene Volumen überschritten wird.

Signals-Abrechnung

Signale werden nicht eins zu eins nach den ursprünglichen Tokens des Proxys abgerechnet, sondern nach den Tokens, die der interne Analyseprozess tatsächlich zum Lesen und Verfolgen verbraucht. Das System komprimiert zunächst die Daten – laut offiziellen Schätzungen kann die Menge der Daten auf etwa zehn Prozent der ursprünglichen Menge reduziert werden. Der tatsächliche Prozentsatz hängt jedoch von der Ausgabe des Tools sowie von der Struktur der zu verfolgenden Daten ab.

Hinweise zur Kostenschätzung

• Es besteht keine feste Umrechnungsbeziehung zwischen den Tracking-Daten GB und der Anzahl der Agent-Token.
• Das Speichern der vollständigen Tool-Ausgaben erhöht die Datenmenge erheblich.
• Der Filterbereich der Signale bestimmt, wie viele Spuren analysiert werden müssen.
• Die Nachverfolgung der Historie verbraucht stark die Signals-Ressourcen.
• Eine längere Aufbewahrungsfrist kann ein teureres Paket oder self-hosted Speicher erfordern.
• Die Kosten für das Modellinferenz sind nicht im Laminar-Abonnement enthalten.
• Bei Self-Hosting müssen weiterhin Kosten für Datenbanken, Objektspeicher und Wartung anfallen.

Open Source und Lizenzen

Die Laminar-Core-Repositorys, das Python SDK sowie das TypeScript SDK werden unter der Apache-Lizenz Version 2 bereitgestellt – es ist möglich, sie anzusehen, zu ändern und selbst zu deployen. Für kommerzielle Cloud-Dienste, Unternehmensimage, Lizenzfunktionen sowie speziellen Support gelten weiterhin eigene kommerzielle Bedingungen.

Docker selbst hosten

Leichtgewichtige Self-Hosting-Lösungen ermöglichen es, mit Docker Compose die Frontend-Elemente, Anwendungsdienste sowie die notwendigen Datenkomponenten zu starten – sie eignen sich daher für die Entwicklung sowie für den Einsatz in kleinem Umfang. In Produktivumgebungen sollten vollständige Orchestrierungsdateien verwendet werden, wobei auch Aspekte wie Persistenz, Backup, Netzwerksicherheit, Authentifizierung, Ressourcenbeschränkungen sowie Upgradestrategien berücksichtigt werden müssen.

Kubernetes selbst gehostet

Das offizielle Helm-Paket richtet sich an AWS- und Google Cloud-Cluster und umfasst PostgreSQL, ClickHouse, Redis, RabbitMQ, Volltextsuche sowie Objektspeicherung. Offene Unternehmensbilder können heruntergeladen werden, doch bestimmte Integrationen und Funktionen erfordern eine Unternehmenslizenzschlüssel.

Privatsphäre und Löschung von PII

Kloudprojekte können die Löschung von PII auf Serverseite vor dem Schreiben aktivieren. Für die Eingaben und Ausgaben jedes Spans werden Namen, E-Mails, Telefonnummern, Kontoinformationen sowie andere persönliche Daten erkannt und durch Platzhalter ersetzt. Der ursprüngliche Text gelangt nicht in die Nachverfolgungsdatenbanken oder Suchindizes – doch diese Funktion betrifft nur neue Spans, für die sie aktiviert wurde.

• Der PII-Schalter wird pro Projekt konfiguriert, nicht für die gesamte Arbeitsumgebung einheitlich.
• Bestehende historische Verfolgungen werden nicht automatisch erneut verarbeitet.
• Strukturelle Informationen wie JSON-Feldnamen, Span-Names, Status und Kosten werden beibehalten.
• Die durch das Verfolgen der Metadaten geschriebenen Benutzer IDs werden durch diesen Schalter nicht gelöscht.
• Fehlidentifizierungen oder Übersehungen können weiterhin auftreten; sensible Felder sollten vorrangig bereits in der Vorstufe entfernt werden.
• Selbst verwaltete Teams müssen Zugriff, Verschlüsselung, Backups und Löschung selbst einrichten.

Unternehmenssicherheitsfähigkeit

Die offiziellen Paketvergleiche listen Sicherheitsfunktionen wie OAuth-Anmeldungen, SOC 2 Type II, HIPAA sowie die Löschung von PII auf Serverseite auf. Allerdings müssen die konkreten verfügbaren Pakete in Abstimmung mit der Konsole und dem Vertrag bestimmt werden. Das Aufsichtsteam sollte außerdem Unterauftragnehmer, Datenbereiche, Aufbewahrungsfristen sowie Bedingungen für die Reaktion auf Ereignisse prüfen.

Für welche Benutzer geeignet

• Ingenieurteam zur Entwicklung von mehrschrittigen AI-Agenten.
• Plattformteams, die das Verhalten von Modellen, Tools und Sub-Agenten überwachen müssen.
• Ein Qualitätsteam zur Durchführung von Regressionstests zur Überwachung von Modifikationen.
• Es wird gehofft, mithilfe der natürlichen Sprache Produkte mit Fertigungsstörungen sowie beteiligte Mitarbeiter zu identifizieren.
• Datenteams, die SQL, Dashboards sowie Analysen für Volltextsuche benötigen.
• Unternehmen, die eine selbst gehostete, open-source-basierte Überwachungsplattform wünschen.
• Entwickler, die Programmier-Agenten in den Debugging-Zyklus einbeziehen.

Vorteile des Produkts

• Eine dialogbasierte Überwachungsansicht für langfristige und mehr-Agenten-Aufgaben.
• OpenTelemetry ist native und ermöglicht eine einfache Integration in bestehende Observabilitätsysteme.
• Signale können über die gesamte Verfolgung hinweg logische und geschäftliche Probleme aufdecken.
• Der Debugger verringert die Kosten für wiederholte Aufrufe durch das Wiedergabe aus dem Cache.
• Bewertungen, Datensätze, Annotationen und Produktverfolgung bilden einen geschlossenen Kreis.
• Unterstützung für SQL, MCP, CLI und benutzerdefinierte Dashboards.
• Die Kernplattform und das SDK nutzen eine lockere Open-Source-Lizenz.

Einschränkungen und Hinweise

• Die umfassende Überwachung kann Hinweise, Ergebnisse von Tools sowie sensible Geschäftsdaten erfassen.
• Signale sind abhängig von Modellentscheidungen und können Fehlalarme oder Auslassungen verursachen.
• Es gibt keinen einfachen Umrechnungsfaktor zwischen Trace Token und gespeicherten GB.
• Free behält nur 7 Tage bei und erlaubt keinen Überschuss an Daten.
• Der vollständige selbsthostete Stack umfasst verschiedene Datenbanken und Middleware, wodurch die Betriebskomplexität hoch ist.
• Für bestimmte Unternehmensfähigkeiten und -integrationen sind Geschäftslicenzien erforderlich.
• Caching-Playback kann echte End-to-End- und Lasttests nicht ersetzen.
• Der automatische Messbereich ändert sich mit den Versionen des Frameworks.

Empfehlungen zur Auswahl und Implementierung

1. Erstellen Sie Statistiken zur Anzahl der laufenden Agenten, zur durchschnittlichen Verfolgungsgröße und zu den Speicheranforderungen.
2. Listen Sie die sensiblen Felder auf, die verfolgt und welche ausgeschlossen werden müssen.
3. Fügen Sie zunächst das SDK zum Testprojekt hinzu und überprüfen Sie die Span-Struktur.
4. Ermitteln Sie, ob Cloud- oder self-hosted-Datengrenzen verwendet werden sollen.
5. Erstellen Sie anfängliche Signale für Fehler, Kosten und Geschäftsresultate.
6. Erstellen eines kleinen Rückgriffsdatensatzes aus Produktionsfehlern.
7. Fügen Sie die Bewertung der kontinuierlichen Integration hinzu, aber legen Sie eine angemessene Konkurrenz ein.
8. Beobachten Sie die Menge an GB sowie an Signals über einen vollständigen Abrechnungszyklus hinweg.
9. Erstellen Sie Betriebsanleitungen für Alarme, Speicherung, Löschung und Berechtigungen.
10. Regelmäßige Überprüfung von Backups, Updates und Wiederherstellung bei Ausfällen.

Häufige Fragen

Was macht Laminar?

Es wird zur Verfolgung, Fehlersuche, Überwachung und Bewertung von AI-Agenten sowie Anwendungen großer Sprachmodelle verwendet. Die Plattform protokolliert den Betrieb von Modellen, Tools und Unteragenten und bietet Signals, Datensätze, SQL sowie Dashboards.

Ist Laminar kostenlos?

Das kostenlose Cloud-Angebot bietet monatlich 1 GB an Datenvolumen, einen Signals-Plan im Wert von 5 US-Dollar, eine Aufbewahrungsfrist von 7 Tagen, 1 Projekt sowie 1 Sitzplatz. Den Kern des Open-Source-Code kann man ebenfalls selbst bereitstellen – doch die Kosten für Infrastruktur und Wartung müssen vom Nutzer getragen werden.

Ist Laminar open source?

Ja, die Kernlager und die wichtigsten SDKs werden unter der Apache-Lizenz Version 2 bereitgestellt. Einige Unternehmens-Images, Integrationen, Lizenzfunktionen sowie Hosting-Dienste gehören weiterhin zu den kommerziellen Angeboten.

Lesen die Signale alle Tracking-Daten?

Nur die Spuren, die die entsprechenden Auslöser- und Filterbedingungen erfüllen, werden analysiert. Zunächst komprimiert das System die Spuren, anschließend untersucht ein interner Agent deren vollständige Ausführung und liest bei Bedarf die jeweiligen Spans aus.

Kann man es selbst hosten?

Ja, in einer leichten Umgebung kann Docker Compose verwendet werden, während in unternehmensweitem Maßstab Helm zur Bereitstellung auf AWS oder Google Cloud genutzt werden kann. Für die Produktivbereitstellung ist es notwendig, Datenbanken, Suchfunktionen, Objektspeicher, Backups sowie Sicherheitsmaßnahmen selbst zu verwalten.

Wird Python und TypeScript unterstützt?

Unterstützung: Für beide Sprachen gibt es offizielle SDKs, mit denen automatische Instrumentierung, manuelle Span-Verwaltung sowie Überwachung und Bewertung von Funktionen möglich sind. Vor der Verwendung sollte geprüft werden, ob die Framework-Version mit dem aktuellen SDK kompatibel ist.

Zusammenfassung

Laminar integriert die Überwachung von AI-Agenten, die Kontrolle der Erstellung von Texten in natürlicher Sprache, die Fehlersuche bei der Wiedergabe aus dem Cache, die Offline-Bewertung sowie die Datenanalyse in einer OpenTelemetry-basierten Plattform. Es eignet sich besonders für Entwicklerteams, die das innere Verhalten von langen Aufgaben verstehen möchten und nicht damit zufrieden sind, nur die endgültige Antwort zu sehen.

Die Managed-Version reicht von kostenlos bis 150 US-Dollar pro Monat und erweitert sich je nach Datenmenge und Signals-Nutzung. Die Open-Source-Version bietet eine stärkere Kontrolle über die Daten, erfordert jedoch eine vollständige Wartung. Die endgültige Wahl sollte anhand der zu verfolgenden Datenvolumina, der Aufbewahrungsfristen, sensibler Informationen, der Kosten für Signals sowie der Komplexität der Self-Hosting-Lösung getroffen werden.