LM-Kit

Was ist ein LM-Kit?

LM-Kit ist eine private KI-Plattform zur Verarbeitung von Dokumenten, Wissen und Agentenaufgaben in der eigenen Infrastruktur des Benutzers. Die wichtigsten Varianten sind LM-Kit.NET, das in .NET-Anwendungen eingebettet werden kann, sowie LM-Kit One, das unabhängig eingesetzt werden kann.

Es löst hauptsächlich das Problem, dass sensible Daten wie Verträge, Rechnungen, Schadensansprüche, Richtlinien und Personalunterlagen nicht in öffentliche Clouds hochgeladen werden sollten. Gleichzeitig sorgt es dafür, dass strukturierte Felder mit einer Zuverlässigkeitsangabe versehen sind sowie dass Fragen und Antworten mit Seitenzahlen sowie Auszügen aus dem Originaltext dargestellt werden.

Zwei Produktformen

Das LM-Kit One befindet sich derzeit in der Business Preview-Version. Während dieser Prüfphase können sich die Schnittstellen ändern. Eine langfristige Unterstützungsversion wird nach der offiziellen Veröffentlichung bereitgestellt.

Hauptfunktionen

Dokumentanalyse und strukturierte Extraktion

• Lesen von PDF, DOCX, PPTX, XLSX, EML, HTML, Bildern und Scans – mit Auswahl des Weges zwischen der direkten Textextraktion und der visuellen OCR-Verarbeitung pro Seite.
• Es wird JSON im von dem Benutzer definierten Format zurückgegeben, wobei jedes Feld mit einem Vertrauensgrad sowie einem Flag für manuelle Überprüfung versehen ist – geeignet für die Extraktion von Rechnungen, Verträgen, Formularen und Dokumenten.
• Erkennen der Dokumentgrenzen bei langen PDFs und automatische Aufteilung; außerdem möglich sind Zusammenführung, Suchfunktionen, Darstellung, Entsperrung, Ausfüllen von Formularen sowie Konvertierung in PDF/A-Format.
• Persönliche Informationen in Texten, Bildern und Office-Dokumenten werden erkannt, und nach Bestätigung durch den Prüfer erfolgt eine dauerhafte Maskierung, anstatt nur eine visuelle Überdeckung.

RAG, Suchfunktion und überprüfbare Fragen/Antworten

• Politiken, Handbücher, Verträge und interne Wikis als Dokumentensammlung erstellen, um Volltext-, Vektor- und gemischte Suchen sowie Neuanordnungen zu unterstützen.
• Die Antwort gibt gleichzeitig das Dokument, die Seitenzahl sowie den Originaltextausschnitt an, der diese Schlussfolgerung stützt. Wenn im Dokument keine Antwort vorhanden ist, wird ausdrücklich ein unbegründetes Ergebnis zurückgegeben.
• Die eingebettete Speicherlösung kann direkt genutzt werden, oder es kann eine Verbindung zu Qdrant oder PostgreSQL pgvector hergestellt werden; dabei wird die Implementierung durch eine einheitliche Vektor-Speicherschnittstelle ersetzt.

Agenten, multimodale und lokale Modelle

• Agenten unterstützen ReAct, Planen vor Ausführung, Parallelverarbeitung, Pipelines, Orchestrierung sowie grafische Steuerung. Für die Aufrufe von Tools können Erlaubnisse, Verbote, Risikostufen sowie Genehmigungsprozesse festgelegt werden.
• Unterstützung für Textgenerierung, Bildverständnis, OCR, Einbettung, Klassifizierung, Entity-Recognition, Emotionalanalyse sowie lokale Sprach-zu-Text-Umwandlung mit der Whisper-Serie.
• Man kann offene Gewichtsmodelle von den Kuratierungsmodellkarten herunterladen oder eigene GGUF-Modelle laden. Zudem wird die LoRA-Anpassung, Quantisierung, Aufteilung auf mehrere GPUs sowie das Laden verschlüsselter Modelle unterstützt.
• Das Modell kann auf CPU, AVX2, CUDA 12/13, Vulkan oder Metal laufen und ist für Windows 10 und neuer, Linux x64 und ARM64 sowie macOS geeignet.

Anleitung zur Verwendung

1. Je nach Architektur kann LM-Kit.NET in einer .NET-Anwendung eingebettet werden, oder LM-Kit One als gemeinsamer, privater Dienst bereitgestellt werden.
2. Bewerten Sie das Betriebssystem, die CPU, den Arbeitsspeicher und die GPU, indem Sie mit kleineren Modellen beginnen, die auf der Zielhardware stabil laufen können.
3. LM-Kit.NET installiert über NuGet das Hauptpaket sowie die optionalen Beschleunigungspakete, die zur Hardware passen, und initialisiert den Laufzeitumgebungen nur einmal beim Start der Anwendung.
4. Definieren Sie für den Dokumentenprozess die Extraktionsstruktur, Schwellenwerte für die manuelle Überprüfung, Suchdatenbanken, Modelle, Berechtigungen für Tools sowie Strategien für den Zugriff auf das externe Netzwerk.
5. Überprüfen Sie mit einem festen Testset die extrahierten Felder, OCR, Frage-Antwort-Zitate, Toolaufrufe, Fallback-Mechanismen bei Fehlern sowie die Grenzen sensibler Daten, bevor Sie in Produktion gehen.
6. In der Produktionsumgebung werden Modelle, Hinweise, Strukturversionen, Anfragenverläufe sowie manuelle Genehmigungen erfasst, und es werden gemäß den Veröffentlichungsanweisungen Regressionstests durchgeführt.

Preise und Lizenzen

Für die kostenlose kommerzielle Nutzung muss das jährliche Gesamtumsatz des Unternehmens unter 1 Million US-Dollar liegen, die Anzahl der Mitarbeiter darf 10 nicht überschreiten, und die externen Finanzierungen dürfen 3 Millionen US-Dollar nicht überschreiten. Zudem muss auf der Produktseite ausdrücklich „LM-Kit.NET“ angegeben werden.

Die Bewertung und Entwicklung sind für Unternehmen jeder Größe kostenlos und zeitunbeschränkt; für die Produktionseinsatz nach Erreichen der Schwellenwertgrenze ist eine Professional-Lizenz erforderlich.

Die Geschäftskonditionen werden in Abhängigkeit von der Größe des Unternehmens, dem Umfang der Implementierung, der Anzahl der eigenständigen Geschäftslösungen, die mit dem LM-Kit integriert sind, sowie vom gewünschten Support-Niveau festgelegt. Es wird nicht nach Token, Lizenzen oder Endbenutzern abgerechnet.

Für professionelle Jahresabonnements sowie Lizenzpakete für mehrere Anwendungen, die über die Produktwebsite oder autorisierte Händler erworben werden, kann innerhalb von 30 Tagen ab dem Kaufdatum unter Vorlage des Kaufbelegs ein Rückgabeantrag gestellt werden; bei Unternehmensverträgen gelten die vertraglichen Bestimmungen.

Unterschiede zwischen API, GitHub und Open Source

• LM-Kit.NET bietet eine vollständige .NET-API sowie Dokumentation. LM-Kit One bietet REST, verschiedene kompatible Schnittstellen sowie MCP. Bei der Nutzung des Produkts sowie des Servers ist jedoch eine kommerzielle Lizenz von LM-Kit erforderlich – es handelt sich somit nicht um Open-Source-Software.
• Die offiziellen Beispielrepositorien, Semantic Kernel, Microsoft.Extensions.AI, die Datendatenverbindungen sowie die Integrationsrepositorien für AWS verwenden hauptsächlich die Apache-2.0-Lizenz. Doch der Open-Source-Status dieser Beispiele und Verbindungen ändert nichts an der Lizenz der Hauptprodukte.
• Die Maestro-Desktop-Anwendung ist unter der MIT-Lizenz verfügbar, die LynxTranscribe-Sprach-zu-Text-Anwendung unter der GPL-3.0. Beide sollten gemäß den Lizenzbedingungen ihrer jeweiligen Repositorien genutzt werden; die LM-Kit-Plattform selbst sollte nicht als Open Source bereitgestellt werden.
• Die im Rahmen der Kuratierung verwendeten Modelle mit offenen Gewichtungen verfügen über jeweils eigene Lizenzen von den Erstellern; die LM-Kit-Lizenz umfasst möglicherweise nicht die Bedingungen für die kommerzielle Nutzung der Modellgewichte.

Architektur für Privatsphäre und Sicherheit

• Im rein lokalen Modus können Dokumente, Hinweise, eingebettete Inhalte und Ausgaben lokal verbleiben, sofern externe Tools sowie optionale Telemetrie deaktiviert sind und das Modell bereits auf dem Host vorhanden ist.
• Wenn externe Assistenten lokale Tools über MCP aufrufen, können das ursprüngliche Dokument, die OCR-Daten sowie der Index weiterhin lokal verbleiben. Die von den Tools zurückgegebenen Ergebnisse werden jedoch dem externen Modell mitgeteilt; der Administrator muss die verfügbaren Tools sowie die zurückgegebenen Inhalte überprüfen.
• Das LM-Kit One ist standardmäßig nur mit dem lokalen Gerät verbunden; ein Netzwerkzugriff muss explizit aktiviert werden. Die API-Schlüssel werden in Form eines Hash-Werts gespeichert, und die Sitzungen sowie die zugänglichen Dateien sind mit dem authentifizierten Benutzer verknüpft.
• Modelle, Indizes, hochgeladene Dateien, Cache, Protokolle sowie die Historie der Anfragen werden in einem konfigurierbaren lokalen Statusverzeichnis oder in einer angegebenen Datenbank gespeichert. Die Aufbewahrungsdauer der Protokolle kann konfiguriert werden.
• Die Website kann Namen, E-Mail-Adressen sowie Kontoinformationen sammeln, die von den Nutzern freiwillig bereitgestellt werden. Zudem werden IP-Adressen, Browserarten, besuchte Seiten sowie Zugriffsstatistiken erfasst. Die Nutzer können die Löschung dieser Daten beantragen; eine Offline-Kopie wird einen Monat lang aufbewahrt, danach werden die Daten endgültig gelöscht.

Vorteile und Einschränkungen bei der Verwendung

Hauptvorteile

• Von OCR, strukturierter Extraktion, RAG, Desensibilisierung bis hin zur Integration von Agenten-Tools in derselben .NET-Laufzeitumgebung oder einem privaten Service – so werden die Wartungskosten für mehrsprachige Umgebungen und verschiedene Dienste reduziert.
• Es ist möglich, mit eigenem Hardware-Infrastruktur für die Inferenz in Umgebungen ohne Netzwerk, ohne Datenspeicherung oder bei großer Anzahl an Dokumenten zu arbeiten – es werden keine zusätzlichen Gebühren pro Seite, Token oder Sitzplatz berechnet.

Nutzungsbeschränkungen

• Für eine lokale Implementierung muss man selbst die Gewichte der Modelle sowie die Mengen an Arbeitsspeicher und Grafikspeicher planen. Zudem müssen Backups, Protokolle, Patches, Zugriffskontrollmechanismen sowie Maßnahmen zur Gewährleistung der Hochverfügbarkeit berücksichtigt werden. Die Einhaltung der Vorschriften wird dadurch nicht automatisch gewährleistet, dass die Daten nicht in die Cloud hochgeladen werden.
• Größere Modelle, lange Kontexte, visuelle OCR, parallele Inferenz und Feinabstimmung erfordern hohe Hardware-Anforderungen. Obwohl eine CPU ausreichen kann, bedeutet das nicht, dass für alle Arbeitslasten eine angemessene Geschwindigkeit gewährleistet ist.
• Die Ausgabe der Zuverlässigkeitswerte, Strukturbeschränkungen und Seitenzitaten können bei der Prüfung helfen, ersetzen aber keine professionelle manuelle Überprüfung der Verträge, Schadensersatzansprüche, finanziellen Aspekte, Personalfragen oder rechtlichen Vorgaben.
• Das LM-Kit One befindet sich noch in der Business Preview-Version. Es müssen Puffer für Änderungen an den Schnittstellen, für die Datenmigration sowie für Rückfälle eingeplant werden. Die Stabilität der Preview-Version sollte nicht als verbindliches Versprechen für eine stabile LTS-Version angesehen werden.

Zusammenfassung

Das LM-Kit eignet sich für Teams, die sensible Dokumente, Suchindizes sowie Modellableitungen in ihrer eigenen Umgebung behalten müssen und gleichzeitig .NET, RAG, MCP, Dokumentenwerkzeuge sowie auditable Agenten benötigen.

Vor dem Go-Live müssen die Lizenzen für das LM-Kit, die Unterprojekte auf GitHub sowie die Gewichtungen der Modelle separat überprüft werden. Zudem muss die Genauigkeit, die Durchsatzrate, die Hardwarekapazität sowie die Grenzen der Datenoffenlegung anhand eines festgelegten Dokumentensatzes überprüft werden.