Jan

Was ist Jan?

Jan ist ein kostenloses, open-source-Tool für lokale KI-Gespräche und das Ausführen großer Sprachmodelle. Es dient als Ersatz für ChatGPT und kann offline genutzt werden. Nutzer können die Modelle unter Windows, macOS oder Linux herunterladen, um Gespräche und Schlussfolgerungen direkt auf ihrem eigenen Computer durchzuführen.

Es ist auch möglich, Remote-Modell-APIs wie OpenAI, Anthropic, Google, Groq, OpenRouter usw. zu konfigurieren und zwischen lokalen und cloud-basierten Modellen über dieselbe Benutzeroberfläche zu wechseln.

Jan bietet kein echtes „Offline-ChatGPT-Modell“ an, sondern verwendet stattdessen Qwen, Llama, eigene von Jan entwickelte Modelle oder andere kompatible Open-Source-Gewichte. Die genauen Fähigkeiten hängen vom heruntergeladenen Modell, der Quantisierungsversion sowie vom Arbeitsspeicher und der Grafikkarte des Computers ab.

Es eignet sich für Nutzer, die Wert auf Privatsphäre, Arbeiten offline, Modellfreiheit und lokale APIs legen.

Kernfunktionen von Jan

Lokaler Offline-Betrieb großer Modelle

Jan führt lokale Modelle über Backend-Bibliotheken wie llama.cpp und Apple MLX aus. Benutzer können aus dem Modellzentrum Versionen herunterladen, die für ihre Hardware geeignet sind, sowie kompatible Modelle importieren.

Die Modelldateien werden auf dem lokalen Gerät gespeichert. Nach dem Herunterladen ist es möglich, ohne Internet zu chatten – es entstehen keine Gebühren für die Nutzung der API pro Transaktion.

Lokal bedeutet nicht unbedingt schneller. Die Größe des Modells, die Quantisierung, die Länge des Kontexts, CPU, GPU, die Speicherkapazität sowie Hintergrundprozesse beeinflussen alle die Geschwindigkeit.

Die Auswahl eines zu großen Modells kann zu einem Ladenfehler, einer langsamen Reaktionszeit oder zum Komprimieren des Kontexts führen.

Einheitliche Benutzeroberfläche für Cloud-Modelle

Falls die lokale Hardware unzureichend ist, können API-Schlüssel für OpenAI, Anthropic, Gemini, Mistral, Groq oder openAI-kompatible Dienste zu Jan hinzugefügt werden. Cloud-Modelle laufen auf den Servern des Anbieters, erfordern eine Netzverbindung und werden nach den Preisen des jeweiligen Anbieters abgerechnet.

Jan wird diese Geschäfts-APIs nicht kostenlos zur Verfügung stellen.

Projekte und Assistenten

Projects dienen zur zentralen Verwaltung von entsprechenden Gesprächen, Dateien und gemeinsam genutzten Anweisungen, während Assistants Rollen, Verhaltensweisen und Präferenzen speichern. Benutzer können verschiedene Assistenten für Schreiben, Programmieren, Lernen oder die Beantwortung interner Fragen erstellen, um das wiederholte Eingeben von Hintergrundinformationen zu vermeiden.

Bei der Langzeitspeicherung und dem Hochladen von Dateien muss weiterhin auf sensible Daten sowie die Länge des Kontexts geachtet werden.

Agents und Jan CLI

Jan CLI ermöglicht es, Modelle über die Terminal zu laden, lokale OpenAI-kompatible Dienste zu starten, Modelle sowie Dialogverläufe anzusehen, und lokale Modelle mit kompatiblen Encoding- oder Automatisierungs-Agenten zu verbinden. `jan serve` stellt standardmäßig eine Schnittstelle über die lokale Portnummer bereit, während `jan launch` es ermöglicht, ein Modell auszuwählen und den unterstützten Agent-Workflow zu starten.

CLI teilt sich Modelle und Datordirektoren mit Desktop-Anwendungen.

OpenAI-kompatible lokale API

Jan kann lokale Modelle als OpenAI-kompatible API bereitstellen; die Anwendungen müssen lediglich die Base URL sowie die Modell-ID ändern, um darauf zuzugreifen. Es ist möglich, Port, API-Präfix, API-Schlüssel, vertrauenswürdige Hosts, Anfragedauerlimits sowie CORS-Einstellungen festzulegen.

Standardmäßig ist es sicherer, nur die lokale Netzwerkkarte zu binden; wenn alle Netzwerkkarten gebunden werden sollen, müssen starke Schlüssel, ein Firewall sowie vertrauenswürdige Hosts eingestellt werden.

MCP-Toolaufruf

Jan kann als MCP-Host lokale Dateien, Browser, Datenbanken oder benutzerdefinierte API-Tools verbinden. Vor dem Aufruf der Tools werden die Parameter angezeigt, die an das Modell übergeben werden sollen, und der Benutzer kann diese genehmigen oder ablehnen.

Obwohl „Alle Tools zulassen“ aktiviert werden kann, erhöht dies erheblich das Risiko von Prompt-Injection-Angriffen und Fehlbedienungen – insbesondere, wenn die Tools Zugriff auf den angemeldeten Browser, Dateien oder die Befehlszeile haben.

Nicht alle lokalen Modelle sind gut darin, Tools aufzurufen. Bevor MCP verwendet wird, sollte ein Modell ausgewählt werden, das die Aufrufung von Tools explizit unterstützt, und anschließend sollten die Parameter der Tools sowie die Rückgabeformate einzeln getestet werden.

Privatsphäre und lokale Daten

Bei der Verwendung eines lokalen Modells werden die Prompte und Antworten hauptsächlich lokal gespeichert; der Benutzer muss kein Cloud-Konto erstellen, um anzufangen.

Nach der Verbindung mit entfernten Modellen, externen MCPs oder Netzwerksuchfunktionen werden die entsprechenden Daten an Dritte übermittelt. Daher bedeutet „Jan legt Wert auf Privatsphäre“ nicht, dass alle Nutzungsmöglichkeiten vollständig offline sind.

Bevor Erweiterungen und MCP-Dienste installiert werden, sollten auch die Quelle und die Berechtigungen überprüft werden.

Vergleich von Jan-Preisen und Betriebsweise

Die Jan-Desktop-Anwendungen sowie die CLI sind kostenlos. Das offizielle Repository wird unter der Apache License 2.0 bereitgestellt. Lokale Modelle können in der Regel kostenlos genutzt werden, doch es fallen Kosten für Hardware, Strom und Speicher an.

Cloud-Modelle werden von den jeweiligen API-Anbietern separat abgerechnet.

Hartwareanforderungen und Modellwahl

Offizielle Erfahrungen empfehlen, für jedes Modell etwa 5 GB oder mehr Speicherplatz einzuplanen sowie einen verfügbaren Arbeitsspeicher, der etwa doppelt so groß ist wie die Größe der Modelldateien. Der tatsächliche Bedarf hängt von der Quantisierung, vom Kontext, vom KV-Cache sowie vom Backend ab – man sollte sich nicht nur auf die Anzahl der Parameter konzentrieren.

Jan-Download-Anleitung zur Installation

1. App herunterladen:Wählen Sie von der offiziellen Jan-Website die Installationsdatei für Windows, macOS oder Linux aus.
2. Erste Inbetriebnahme abgeschlossen:Die Anwendung lädt das standardmäßige Basismodell herunter; man kann auch im Hub andere Modelle auswählen.
3. Quantisierung nach Hardware auswählen:Zuerst werden mit einem kleineren Modell Geschwindigkeit und Speicherverbrauch getestet, anschließend wird schrittweise die Anzahl der Parameter oder die Genauigkeit erhöht.
4. Dialog erstellen:Wählen Sie im Modellselector ein lokales Modell aus, geben Sie die Aufgabe ein und beobachten Sie die Leistung hinsichtlich Speicher, Geschwindigkeit und Kontext.
5. Konfiguration des Cloud-Modells:Für höhere Leistungsfähigkeit geben Sie Ihre eigene API-Key in den Model Providers ein.
6. Lokale API aktivieren:Legen Sie die Abhör-Adresse, den Port und den API-Schlüssel fest und öffnen Sie das lokale Netzwerk nur, wenn es wirklich notwendig ist.
7. Verbindung mit MCP:Installieren Sie einen zuverlässigen Server, wählen Sie ein Modell, das Tool Calling unterstützt, und beibehalten Sie die schrittweise Freigabe.

Anleitung zur Verwendung von Jan AI

Erstellung wiederverwendbarer professioneller Workflows

1. Für die Entwicklungs-, Test- und Produktionsumgebungen werden unterschiedliche Schlüssel und Limits verwendet;
2. Große Modelle werden lokal und offline ausgeführt, es gibt eine einheitliche Benutzeroberfläche für Cloud-Modelle sowie repräsentative Bewertungssätze für Projects und Assistants.
3. Einstellen von Timeout, Konkurrenz, Wiederholungsversuchen, Limitierung sowie Budgetobergrenzen;
4. Durchführung von Überprüfungen hinsichtlich Fakten, Sicherheit, Formatierung und sensibler Informationen am Ausgangsinhalt;
5. Überwachung von Änderungen bei Modellversionen, Preisen, Verzögerungen und Ausfallraten;
6. Vorbereitung von Plänen für die Herabstufung des Modells, Schutzmaßnahmen sowie manuelle Übernahme.

Für welche Benutzer geeignet

• Persönliche Nutzer, die im Offline-Modus chatten möchten und ihre Daten möglichst auf dem Computer behalten wollen;
• AI-Enthusiasten, die mehrere lokale und Cloud-Modelle vergleichen müssen;
• Entwickler, die für ihre eigenen Anwendungen lokale, mit OpenAI kompatible Schnittstellen bereitstellen möchten;
• Ein Team, das mit internen Dokumenten, Code sowie vertraulichen Daten umgeht und gleichzeitig in der Lage ist, die Sicherheit der Geräte selbst zu verwalten;
• Es wird gehofft, mit MCP fortgeschrittene Benutzer für lokale Assistenten mit Datei-, Browser- und Datenwerkzeugen zu bereitstellen.

Vorteile und Bedenken

• Die Vorteile von Jan sind, dass es kostenlos und open source ist, plattformunabhängig funktioniert, kein Konto erforderlich ist, die lokale Verarbeitung im Vordergrund steht, und dass Modellverwaltung, Chat, CLI, API sowie MCP in einer einzigen Anwendung zusammengefasst sind.
• Der Benutzer kann entweder vollständig offline arbeiten oder je nach Aufgabe auf leistungsstärkere Cloud-Modelle wechseln.
• Lokale Modelle können weiterhin fehlerhafte Informationen erzeugen und dürfen deshalb nicht aufgrund ihrer Offline-Status als zuverlässig angesehen werden.
• Die Lizenz für das Modell ist ebenfalls von der Jan-Softwarelizenz getrennt; vor der kommerziellen Nutzung müssen die jeweiligen Bedingungen überprüft werden.
• MCP und LAN-APIs erweitern das Angriffsprofil; unbekannte Tools oder Dienste ohne Passwortfreigabe sollten nicht im Voraus genehmigt werden.
• Bei wichtigen Dokumenten sollte der Jan-Datordirektorium gesichert werden, und der Zugang zum Gerät sowie die Verschlüsselung der Festplatte müssen gewährleistet sein.

Häufige Fragen

Ist Jan AI kostenlos?

Die Jan-App, die CLI sowie die lokale Inferenz sind kostenlos. Bei der Anbindung an Cloud-Modelle wie OpenAI oder OpenRouter werden die Kosten vom jeweiligen API-Anbieter berechnet.

Kann Jan vollständig offline sein?

Ja. Man kann vorab lokale Modelle herunterladen, um offline zu chatten.

Das Herunterladen von Modellen, das Aufrufen von Cloud-APIs, die Internetsuche sowie externe MCPs erfordern ein Netzwerk.

Unterstützt Jan chinesische Modelle?

Es wird die Importierung oder Download von kompatiblen Modellen mit starker Chinesisch-Fähigkeit wie Qwen unterstützt. Die Qualität des Chinesischen hängt vom jeweiligen Modell, der Quantisierung sowie den Kontexteinstellungen ab.

Kann Jan als lokale API dienen?

Ja, es können OpenAI-kompatible Schnittstellen bereitgestellt werden, die von Skripten, Anwendungen und Agenten aufgerufen werden können. Bei der Verwendung im lokalen Netzwerk müssen eine API-Key sowie Netzwerkbeschränkungen eingestellt werden.

Ist Jan Open Source?

Open Source: Das offizielle GitHub-Repo verwendet die Apache License 2.0. Die heruntergeladenen Drittanbietermodelle unterliegen ihren jeweiligen Lizenzen.