LM Studio

Was ist LM Studio?

LM Studio ist ein grafisches Tool zur Ausführung und Entwicklung großer lokaler Modelle. Benutzer können in der Modell-Community GGUF- oder MLX-Modelle suchen, die für ihre Geräte geeignet sind. Nach dem Herunterladen können sie diese auf ihrem Computer nutzen, um zu chatten, Dokumente zu bearbeiten oder lokale Dienste zu starten, die von Code, Editoren und KI-Anwendungen aufgerufen werden können.

Es bringt die Modellauswahl, die Quantisierungsversionen, die Speichermengenschätzung, die Ladeparameter sowie die Service-Schnittstellen in eine Desktop-Oberfläche – was Nutzern, die mit der Kommandozeile nicht vertraut sind, zugutekommt – und behält gleichzeitig die Funktionen der Kommandozeile, des SDKs und der API bei.

LM Studio bietet derzeit auch Cloud-Modelle an. Bei der Auswahl eines Cloud-Modells werden die Eingabeanfragen und Schlussfolgerungen von den Hosting-Diensten von LM Studio verarbeitet;

Beim Auswahl eines lokalen Modells erfolgt die Hauptberechnung auf dem Gerät des Benutzers.

Beide Modelle verwenden ähnliche Chatten- und Entwicklungs-APIs, weisen jedoch unterschiedliche Privatsphärerichtlinien, Kosten, Geschwindigkeiten sowie verfügbare Modelle auf. Cloud darf nicht fälschlicherweise als lokale, offline-Berechnung angesehen werden.

Kernfunktionen

• Modellfindung und Herunterladen:Suchen Sie im Modell-Repository, wählen Sie die Version nach Anzahl der Parameter, Quantisierungsstufe, Architektur und Dateigröße aus und erhalten Sie Hinweise zur Ausführbarkeit basierend auf dem aktuellen Speicherbedarf.
• Lokaler Chat:Mehrere Dialogrunden erstellen, System-Hinweise sowie Sampling-Parameter konfigurieren, um die Geschwindigkeit und die Qualität der Antworten verschiedener Modelle nebeneinander zu testen.
• Dokument-Frage-Antwort:Fügen Sie PDFs, Texte und andere Materialien der Sitzung hinzu, damit das Modell auf Grundlage der lokalen Dateien zusammenfassen und antworten kann; die Ergebnisse hängen vom Kontext des Modells, der Dokumentanalyse sowie dem Suchumfang ab.
• Entwicklermodus:Starten Sie einen lokalen HTTP-Service, der eine mit OpenAI kompatible Schnittstelle bietet sowie Python- und JavaScript-SDKs, um bestehende Chat-, strukturierte-Ausgabe- und Toolaufruf-Anwendungen zu migrieren.
• Mehrmodell-Dienste:Mehrere Modelle können geladen und nach Bedarf gewechselt werden; im Hintergrund werden Laufzeiten wie llama.cpp und Apple MLX unterstützt.
• MCP und Tools:Es wird die Verbindung von Modellen mit MCP-Servern oder -Tools unterstützt, doch diese Tools können auf Dateien, das Netzwerk sowie Geschäftsprozesse zugreifen – daher müssen die Berechtigungen überprüft werden.
• LM Link：Andere Geräte dürfen sich mit dem Host, auf dem LM Studio läuft, verbinden; die kostenlose Version ermöglicht derzeit bis zu 5 verbundene Geräte.
• Team und Unternehmen:Der Team Hub dient zum Teilen von privaten Organisationen, Modellen und Produkten; die Unternehmenslösung bietet zusätzlich SSO, Zugriffskontrolle auf Modelle, Verwaltungsrapporte, anpassbare Bereitstellung sowie priorisierten Support.

Preis

Obwohl bei der lokalen Nutzung keine Gebühren an LM Studio für die Verarbeitung entstehen, müssen die Kosten für den Computer, die Speicherung, den Strom sowie die Wartung getragen werden. Cloud Credits und die kostenlosen lokalen Funktionen haben unterschiedliche Kostenstrukturen – die Erstellung langer Texte ist in der Regel teurer als die Eingabe solcher Texte.

Plattform, Privatsphäre und Open-Source-Status

LM Studio unterstützt Windows, macOS und Linux. Apple-Chips können mit MLX genutzt werden, während andere Geräte in der Regel über llama.cpp sowie verfügbare CPU- und GPU-Backends laufen.

Je größer das Modell ist, desto höher sind die Anforderungen an Arbeitsspeicher und Grafikspeicher. Die Möglichkeit, eine Datei herunterzuladen, bedeutet nicht, dass das Gerät in der Lage ist, den gesamten Kontext reibungslos zu laden.

Lokale Modelle, Dokumente und Dialoge können auf dem Gerät bleiben – das eignet sich für Nutzer, die eine strenge Kontrolle über ihre Daten wünschen. Wenn Websuche, Anmeldesynchronisierung, Cloud-Modelle, Fernverbindungen oder MCP-Dienste von Drittanbietern aktiviert werden, verlassen die entsprechenden Daten die rein offline-Bereiche. Unternehmen sollten vor der Nutzung die Regeln für die Übertragung und Speicherung überprüfen.

Die LM Studio-Desktop-Anwendung ist proprietäres Software, kein Open-Source-Projekt.Die integrierten Laufzeiten wie llama.cpp und MLX können open source sein, doch daraufhin kann das gesamte Produkt nicht als open source bezeichnet werden.

Jedes heruntergeladene Modell verfügt außerdem über eine eigene Lizenz, die den kommerziellen Einsatz, die Weiterverteilung, die Erstellung von abgeleiteten Modellen oder bestimmte Verwendungszwecke einschränken kann. Vor der Veröffentlichung eines Produkts müssen die Modellkarten sowie die Lizenzbedingungen einzeln überprüft werden.

Anleitung zur Verwendung von LM Studio

Eine grundlegende Aufgabe erledigen

1. Registrieren Sie sich bei LM Studio und erstellen Sie einen API-Schlüssel, der ausschließlich für die Testumgebung verwendet wird;
2. Wählen Sie das Modell entsprechend der Eingabetypen, des Kontexts, der Qualität, der Geschwindigkeit und des Preises aus;
3. Zuerst wird das Modell aufgerufen, um die minimale Anfrage zu finden und herunterzuladen, sowie die zurückgegebene Struktur zu überprüfen;
4. Testen Sie anschließend die fließende Ausgabe, Parameter und Fehlerreaktionen mit einer lokalen Chat-Verbindung;
5. Protokollieren Sie Tokens, Anrufanzahl, Verzögerung, Fehlerrate und Kosten pro Aufruf;
6. Tragen Sie den Schlüssel in den Server-basierten Schlüsselmanager ein, bevor Sie die eigentliche Anwendung anschließen;

Erstellung wiederverwendbarer professioneller Workflows

1. Für die Entwicklungs-, Test- und Produktionsumgebungen werden unterschiedliche Schlüssel und Limits verwendet;
2. Basierend auf dem Modell werden repräsentative Bewertungssätze für das Herunterladen, das lokale Chatten sowie das Beantworten von Fragen zu Dokumenten erstellt.
3. Einstellen von Timeout, Konkurrenz, Wiederholungsversuchen, Limitierung sowie Budgetobergrenzen;
4. Durchführung von Überprüfungen hinsichtlich Fakten, Sicherheit, Formatierung und sensibler Informationen am Ausgangsinhalt;
5. Überwachung von Änderungen bei Modellversionen, Preisen, Verzögerungen und Ausfallraten;
6. Vorbereitung von Plänen für die Herabstufung des Modells, Schutzmaßnahmen sowie manuelle Übernahme.

Für welche Benutzer geeignet

• Hoffnung für normale Benutzer, die auf einem Personalcomputer ohne Internetverbindung Open-Source-Gewichtsmodelle nutzen möchten
• Entwickler, die lokale APIs, strukturierte Ausgaben sowie Toolaufrufe benötigen
• Ein Team, das das Dokumenten-Frage-Antwort-Verfahren testen muss, ohne dass die Daten das Gerät verlassen.
• Forscher, die unterschiedliche Quantifizierungsmodelle, den Hardwareverbrauch sowie die Inferenzgeschwindigkeit vergleichen

Nutzungsbeschränkungen

• Das Wissen, die Schlussfolgerungsfähigkeit sowie die Qualität der chinesischen Übersetzungen eines lokalen Modells hängen vom jeweiligen Modell ab. Man kann daher nicht davon ausgehen, dass die Ergebnisse zuverlässig sind, nur weil sie lokal berechnet werden.
• Bei Dokumenten-Fragen können Tabellen, Bilder und Scans weiterhin übersehen werden;
• Wichtige Informationen müssen im Originaltext überprüft werden.
• Lokale Dienste sollten nicht direkt und unauthentifiziert im öffentlichen Netzwerk zugänglich gemacht werden. Für den Fernzugriff sollten Firewalln, Authentifizierung sowie das Prinzip der minimalen Berechtigungen eingestellt werden.

Häufige Fragen

Ist LM Studio kostenlos?

Desktop- und lokale Inferenz sind kostenlos; Cloud-Modelle werden nach Verbrauch mit Credits erworben, Team- und Unternehmensfunktionen haben einen separaten Preis.

Muss man ins Internet sein?

Für das Herunterladen von Anwendungen und Modellen ist ein Internetanschluss erforderlich. Nach dem Herunterladen der Modelle kann man offline chatten und lokale APIs nutzen; Cloud-Modelle, Web-Suche sowie Online-Modellbibliotheken erfordern hingegen einen Internetanschluss.

Was ist der Unterschied zwischen LM Studio und Ollama?

LM Studio legt mehr Wert auf die grafische Benutzeroberfläche, das Anzeigen von Modellen sowie Experimente am Desktop; Ollama konzentriert sich eher auf die Kommandozeile, Modelldienste und die Integration in Entwicklungsprozesse.

Beide können lokale APIs bereitstellen; die Wahl hängt von den Präferenzen der Benutzeroberfläche, den Anforderungen an die Automatisierung sowie von der Betriebsumgebung ab.