SwanLab

Was ist SwanLab?

SwanLab ist eine Plattform zur Überwachung, Visualisierung und Zusammenarbeit bei der KI-Trainingserfassung, die von Emotional Machine (Beijing) Technology Co., Ltd. entwickelt wurde. Sie integriert sich über das Python SDK in die Trainingsskripte und erfasst kontinuierlich Loss, Accuracy, Lernrate, Hyperparameter, Logs, Hardwarezustand sowie Ergebnisse aus Medien, um diese anschließend in einem Web-Dashboard anzuzeigen und zu vergleichen.

Das Produkt unterstützt gleichzeitig die offizielle Cloud, den Offline-Modus sowie eine private Bereitstellung. Es ist vergleichbar mit Tools wie Weights & Biases und TensorBoard – legt jedoch mehr Wert auf eine benutzerfreundliche Bedienung in Chinesisch, die Überwachung von inländischem Hardware, offene SDKs sowie eine lokale Bereitstellung. Es eignet sich für Anwendungen im Bereich des tiefen Lernens, der Feinabstimmung großer Modelle, des Reinforcement Learning sowie für Experimente im Bereich des visuellen und traditionellen Maschinenlernens.

Aktuelle Version und Open-Source-Zustand

Stand dieser Überprüfung hat das offizielle SwanLab Python SDK von GitHub die Version 0.8.x erreicht, wobei die neueste veröffentlichte Version 0.8.2 ist. Sowohl das SDK als auch das Hauptkunden-Repository werden unter der Apache License 2.0 lizenziert, wodurch sie nach den Bedingungen der Lizenz verwendet, modifiziert und verteilt werden können.

Es ist notwendig, zwischen SDKs, Cloud-Diensten und selbst gehosteten Servern zu unterscheiden: Das Hauptrepositorium von GitHub stellt hauptsächlich das Training-SDK sowie lokale Funktionen zur Verfügung; in den offiziellen Dokumentationen wird außerdem erklärt, dass der Cloud-Anteil nicht öffentlich zugänglich ist. Selbst gehostete Lösungen werden über separate Images und Deployment-Repositorien bereitgestellt und erfordern eine Lizenz zur Aktivierung.

Daher kann die gesamte SwanLab-Cloud-Plattform nicht als vollständig mit offenem Quellcode bezeichnet werden.

Experiment-Initialisierung und Kennwert-Protokollierung

Nach der Installation wird mithilfe von swanlab.init ein Run erstellt, wobei Projektname, Name des Experiments, Beschreibung sowie Konfiguration festgelegt werden; im Trainingszyklus werden die Metriken mit swanlab.log aufgezeichnet, und am Ende wird finish aufgerufen.

Das SDK sendet die Zeitschritte, Metriken, Hyperparameter sowie den Betriebszustand in die Cloud oder auf einen bestimmten privaten Host.

Der Indikator-Key sollte konstant bleiben, und der Schritt muss eine klare Bedeutung haben. Das Mischen von Daten mit unterschiedlichen Frequenzen und Einheiten in einer einzigen Kurve führt zu Fehlvorstellungen.

Beim verteilten Training gibt der Hauptprozess in der Regel nur globale Metriken weiter, um Doppelarbeit und Netzwerkbelastung zu vermeiden.

Trainingsvisualisierung

Die Webversion unterstützt Liniencharts, Stäckcharts, Scatterplots, Boxplots, Heatmaps, Kreisdiagramme, Radarskizzen sowie benutzerdefinierte ECharts-Diagramme. Benutzer können Experimente suchen, filtern und gruppieren, mehrere Kurven übereinanderlegen sowie Hyperparameter mit den Endergebnissen vergleichen.

Die Glättung der Kurven dient nur dazu, Trends zu erkennen, und kann die ursprünglichen Daten nicht ersetzen. Bei Vergleichsversuchen sollten Datensätze, Zufallszahlen, Anzahl der Trainingsschritte sowie die Bewertungskriterien gleich gehalten werden. Zudem sollten die unglätteten Werte beibehalten werden, um zu vermeiden, dass die angezeigten Ergebnisse fälschlicherweise als echter Fortschritt angesehen werden.

Multimedia und Inhalt großer Modelle

SwanLab kann Bilder, Audio-Dateien, Videos, Texte, 3D-Punktwolken sowie biochemische Moleküle speichern und bietet eine Markdown-basierte Visualisierung für von LLMs erzeugten Inhalt. Bei visuellen Aufgaben können Vorhersagerahmen und Beispiele angezeigt werden, und beim Training großer Modelle können Prompt, Response und Reward überprüft werden.

Mediendateien beanspruchen schnell Speicherplatz und Upload-Bandbreite. Es sollte in regelmäßigen Abständen gezogen werden, wobei Größe, Dauer und Anzahl begrenzt werden sollten;

Vor dem Hochladen müssen die Trainingsbeispiele, die Benutzereingaben und die Modellausgaben maskiert werden.

Automatische Protokollierung und Laufumgebung

Das SDK kann automatisch Python-Logs, Informationen zur Hardwareumgebung, Daten zu den Git-Repositorys, die Python-Version, die Liste der Abhängigkeiten sowie den Ausführungskatalog des Projekts aufzeichnen, um einen Kontext für die Wiederholung von Experimenten zu bieten. Nach dem Fortsetzen der Ausführung nach einem Breakpoint können weitere Metriken hinzugefügt werden.

Die automatische Erfassung kann Namen von Verzweigungen, Befehlsparameter, Dateipfade sowie Abhängigkeitsinformationen enthalten. Unternehmen sollten den Umfang der aufgezeichneten Daten überprüfen und sicherstellen, dass API-Schlüssel, interne Adressen sowie Kundendaten nicht in die Konfiguration oder Protokolle geschrieben werden.

Hardware-Überwachung

SwanLab kann den CPU, den Arbeitsspeicher sowie verschiedene Acceleratoren überwachen – darunter NVIDIA GPUs, Ascend NPU, Cambricon MLU, Kunlun XPU, Muxi und Moore Threads-Geräte. Es ist möglich, die Auslastung, den Grafikspeicher, die Temperatur, den Stromverbrauch sowie prozessbezogene Kennzahlen zu überwachen, um Datenengpässe und OOM-Fehler zu erkennen.

Die Erfassung von Hardwaremetriken hängt von Herstellerdrivern und -Tools ab, wobei die von verschiedenen Geräten unterstützten Felder nicht immer identisch sind. Eine hohe Abtastrate erhöht den Aufwand, und bei der Kommunikation zwischen Maschinen muss außerdem eine Zeitsynchronisierung gewährleistet werden.

Experimentelle Vergleiche und Tabellen

Die Projektansicht ermöglicht die zentrale Verwaltung einer großen Anzahl von Ausführungen. Es ist möglich, nach Status, Ersteller, Parametern sowie Endindikatoren zu filtern und anschließend bestimmte Experimente auszuwählen, um Vergleichsgrafiken anzufertigen. Sie eignet sich ideal für die Suche nach Überparametern, Ablösungsversuche, die Auswahl von Modellversionen sowie die Analyse von Fehlursachen.

Der Name des Experiments sollte wichtige Informationen wie Modell, Daten, Methode und Datum enthalten. Tags und Gruppen müssen einheitlich standardisiert sein. Die Abhängigkeit von automatisch generierten IDs erschwert es dem Team, den Überblick über Tausende von Durchläufen zu behalten.

Rahmenintegration

Die offiziellen Dokumente nennen mehr als 40 Frameworks und Tools zur Integration, darunter PyTorch, Transformers, PyTorch Lightning, Keras, LLaMA Factory, ms-swift, XTuner, MMEngine, Ultralytics, PaddleDetection, LightGBM, XGBoost.

Stable Baselines3, veRL, TRL, EasyR1, TensorBoard, Wandb, MLflow, Hydra und Accelerate.

Die Integration erfolgt in der Regel über Callbacks, den Parameter report_to oder Logger. Ein Upgrade des Frameworks kann die Schnittstellen für Callbacks sowie die Namen der Metriken ändern; daher sollte eine kompatible Version verwendet werden und zunächst mit kurzen Aufgaben getestet werden.

LLaMA Factory und ms-swift

LLaMA Factory kann SwanLab als Backend für die Berichterstattung verwenden, um den SFT-, LoRA- sowie Preference-Alignment-Training-Prozess zu dokumentieren; ms-swift wird über die Parameter report_to, Project, Workspace und Experimentname angebunden, wobei sowohl die CLI als auch die WebUI verfügbar sind.

SwanLab ist nur für die Beobachtung zuständig und stellt weder Rechenleistung für das Training noch eine automatische Garantie für die Qualität der Feinabstimmung bereit. Die Kosten für GPU, Modellgewichte, Daten sowie Checkpoints werden weiterhin von der Trainingsplattform oder dem Benutzer selbst verwaltet.

Stärkung des Lernens durch Training

Die Plattform integriert Frameworks wie veRL, TRL, EasyR1, AReaL, ROLL, NVIDIA NeMo RL und MindSpeed-RL und kann Reward, KL, Entropie, Policy Loss, Generierungslänge sowie Hardware-Metriken verfolgen.

Es gibt viele Indikatoren für das verstärkte Lernen, und die Übertragungsfrequenz ist hoch – dadurch kann leicht eine Begrenzung der Anzahl der übertragenen Datensätze auftreten. Es sollte zwischen den wichtigsten Online-Indikatoren und den seltener genutzten Diagnosedaten unterschieden werden; nicht alle Daten jedes Tokens sollten in die Cloud übertragen werden.

Migrieren von Wandb und TensorBoard

SwanLab bietet die Möglichkeit zur Synchronisierung mit Wandb – es ist möglich, Wandb-Metriken in SwanLab zu übertragen. Zudem wird die Lesung von TensorBoard-Protokollen unterstützt, oder SwanLab kann als Ersatz für den Logger im Trainingsframework verwendet werden.

Migration hilft dabei, historische Experimente zu bündeln und im nationalen Netzwerkumfeld zu nutzen.

Die Datentypen der Logs von Drittanbietern, die Schritte sowie die Medienformate können möglicherweise nicht eins-zu-eins übereinstimmen. Vor der eigentlichen Migration sollten repräsentative Projekte ausgewählt werden, um zu überprüfen, ob die Anzahl der Kurvenpunkte, die Parameter, die Zusammenfassungen sowie die Dateien vollständig sind.

Kostenloses Cloud-Free-Angebot

Auf der aktuellen Preisseite wird für die Cloud-Version „Free“ ein Preis von 0 Yuan pro Monat angegeben. Sie eignet sich für persönliche Forschungen und kleine Experimente und bietet 10 GB Speicherplatz. Bei der kostenlosen Version können etwa 500.000 Datensätze alle 10 Minuten hochgeladen werden; bei Überschreitung dieser Geschwindigkeit kommt es zu Einschränkungen.

Nach Erreichen der Speichergrenze können keine neuen Experimente erstellt werden, doch laufende Experimente werden so weit wie möglich zu Ende geführt. Vor dem Start von Aufgaben mit langer Dauer sollte der verbleibende Speicherplatz überprüft werden, um unnötige, große Mediendateien rechtzeitig zu löschen oder zu exportieren.

Pro- und Team-Lösungen

Auf der Preisseite wird Pro derzeit mit 59 Yuan pro Person pro Monat angegeben, wobei 100 GB Speicherplatz enthalten sind. Die Datenübertragungsgeschwindigkeit liegt bei etwa 5 Millionen Datensätzen pro 10 Minuten. Das Angebot richtet sich an professionelle Einzelpользоватler. Der Kauf-Button weist jedoch die Angabe „Bald verfügbar“ auf, weshalb das Produkt noch nicht allgemein erhältlich ist.

Die Team-Daten werden ebenfalls auf der Preiseite angezeigt, wobei dort ebenfalls angegeben ist, dass sie bald verfügbar sein werden. Die genauen Preise, Plätze, Mitwirkende, das Team-Portal sowie die offizielle Veröffentlichungszeit können sich weiterhin ändern. Vor dem Kauf sollte man sich auf die Angaben auf der Kontoabrechnungsseite stützen.

Enterprise-Unternehmenslösung

Enterprise bietet individuell angepasste Preise für Unternehmen, die eine Teamzusammenarbeit sowie höhere I/O-Leistung und Verwaltungsfähigkeiten benötigen. Es stehen individuell anpassbare Speicherlösungen, höhere Datenraten, Teamrechte, SSO, sichere Verbindungen, ein Unternehmensverwaltungs-Backend sowie exklusiver Support zur Verfügung.

Offiziell wird angegeben, dass ein Unternehmen je 10 Minuten bis zu eine Milliarde oder mehr Datensätze verarbeiten kann – je nach Anforderungen. Im Vertrag müssen Plätze, Konkurrenzfähigkeit, Speicherung, Aufbewahrung, Backups, SLA, Datenmigration sowie technische Unterstützung klar festgelegt werden.

Offline-Modus

Das SDK unterstützt Modi wie Online, Local, Offline und Disabled. Bei eingeschränktem Netzwerkzugang können die Experimentenergebnisse zunächst lokal gespeichert werden, anschließend mit den entsprechenden Tools angezeigt oder nach Wiederherstellung der Verbindung synchronisiert werden. Dies eignet sich für Intranets in Laboren, Cloud-Trainingsserver sowie Umgebungen mit vorübergehendem Netzwerkausfall.

Offline-Kataloge gehören zu den experimentellen Ressourcen und sollten in die Backups sowie in die Zugriffskontrollmechanismen einbezogen werden. Beim Löschen der Trainingsausgaben sollten ungesynchronisierte Protokolle nicht versehentlich gelöscht werden.

Auch vor der Neusynchronisierung sollte eine wiederholte Ausführung vermieden werden.

Private Deployment der Community-Version

Die Community-Version kann mit Docker Compose oder den offiziellen Helm-Charts bereitgestellt werden und nutzt Dienste wie PostgreSQL, Redis, ClickHouse, MinIO sowie Gateways. Als Mindestanforderungen für Docker gelten 2 CPU-Kerne, 4 GB RAM und 20 GB Speicher; für eine langfristige Nutzung sollten jedoch höhere Ressourcen sowie Backups bereitgestellt werden.

Einzelne Personen können auf der offiziellen Website kostenlos eine Community-Version-Lizenz beantragen, die jährlich erneuert werden muss. Die Nutzung ist auf kommerzielle Zwecke beschränkt. Die Community-Version ist nur für den persönlichen Gebrauch bestimmt und bietet keine Unterstützung für die Zusammenarbeit mehrerer Personen, Teams, Rollenrechte, SSO oder ein Admin-Panel.

Docker und Kubernetes

Eine Docker-Deployment eignet sich für private Server; die Standard-Gateway-Portnummer beträgt 8000, während die Portnummer für MinIO-Signierungen bei 9000 liegt. Für eine Kubernetes-Deployment sind Kubernetes 1.24 oder neuer sowie Helm 3.9 oder neuer erforderlich. Zudem können hochverfügbare Datenbanken, Caches und Objektspeicher hinzugefügt werden.

Die Standard-Kubernetes-Komponenten basieren auf einer einzigen Instanz, was nicht gleichbedeutend mit hoher Verfügbarkeit auf Unternehmensebene ist. In einer Produktivumgebung müssen PVCs, Backups, Disaster-Recovery-Strategien, Ingress, TLS, Secrets, Überwachungssysteme sowie rollenbasierte Updates berücksichtigt werden.

Private-Version des Unternehmens

Die Unternehmensversion bietet neben der Offline-Einsatzmöglichkeit zudem die Funktionen für die Zusammenarbeit mehrerer Personen, Teamfunktionen, Berechtigungskontrolle, SSO, eine Admin-Oberfläche sowie offizielle Support-Leistungen. Sie unterstützt außerdem Docker- oder Kubernetes-Lösungen. Für Preise ist man bitte an die Verantwortlichen wenden zu müssen.

Die Einrichtung im Intranet erfordert möglicherweise weiterhin eine Lizenzaktivierung oder eine Offline-Überprüfung. Vor dem Kauf sollten die Bedingungen für einen vollständigen Netzwerkabriss, die Methode zur Lizenzaktualisierung, die Bereitstellung von Spiegeln, die Behebung von Sicherheitslücken sowie die Datenexportierung überprüft werden.

Benachrichtigungen und Plugins

Der Plugin kann den Trainingszustand an Feishu, DingTalk, WeChat Work, Slack oder per E-Mail senden und auch CSV-, Webhook- sowie erweiterte Datenverarbeitungsfunktionen bereitstellen. Es eignet sich zur Benachrichtigung bei ungewöhnlichen Verlustwerten, abgeschlossenen Aufgaben oder Abstürzen.

Der Benachrichtigungsinhalt kann den Namen des Experiments, die Kennzahlen sowie den Zugang zu der jeweiligen Seite enthalten. Für sensible Daten sollten interne Roboter verwendet werden, und der Zugriff auf die Gruppe sollte eingeschränkt werden. Webhooks benötigen eine Überprüfung der Quelle sowie Schutz vor Wiederholung von Anfragen.

API-Schlüssel und Datensicherheit

Sowohl Cloud- als auch Private-Dienste werden über API-Schlüssel authentifiziert. Der Schlüssel sollte in Umgebungsvariablen oder Secrets gespeichert werden und darf weder in Git, in Ausgaben von Notebooks noch in geteilten Skripten gespeichert werden.

Jeder Benutzer und jede Umgebung sollte eine eigene Schlüssel verwenden.

Die Experimentaldaten können das Verhalten des Modells, die Codeversion sowie nicht offengelegte Kennzahlen enthalten. Die Organisation sollte Zugriffsrechte, Aufbewahrungsfristen, eine Dateneinstufung sowie Prozesse für die Löschung festlegen und vor der öffentlichen Verbreitung Medien und Konfigurationen überprüfen.

SwanLab-Anleitung

Eine grundlegende Aufgabe erledigen

1. SwanLab installieren und konfigurieren, um für die Experimente eigene Projekte sowie Laufnamen zu erstellen;
2. In dem Trainingsskript sollten Hyperparameter, Datenversionen, Codeversionen sowie die Zufallszahlenseed festgehalten werden;
3. Durch experimentelle Initialisierung sowie Initialisierung der Kennzeichnungsaufgaben und Anbindung an die richtigen Cloud- oder Private-Dienste;
4. Verwenden Sie die Trainingsvisualisierung, um kontinuierlich Verluste, Metriken, Protokolle und den Hardware-Zustand aufzuzeichnen;
5. Führen Sie ein kleines Trainingslauf durch, um zu überprüfen, ob Schrittanzahl, Einheiten, Kurven und Medienbeispiele korrekt sind;
6. Speichern Sie nach Abschluss das Modell, die Einstellungen, die Ergebnisse sowie die Anleitung zur Wiederholung des Experiments.

Erstellung wiederverwendbarer professioneller Workflows

1. Einheitliche Normen für die Benennung von Projekten, Experimenten, Indikatoren und Labels;
2. Die Initialisierung des Experiments sowie die Erfassung von Metriken, die Visualisierung des Trainings und Multimedia- sowie Inhalt von großen Modellen in das Trainingstemplate aufnehmen.
3. Versionen für Datensätze, Code, Umgebungen und Modelle verknüpfen;
4. Verwenden Sie dasselbe Bewertungsset und dieselben Vergleichsexperimente, um zu vermeiden, sich nur auf glatte Kurven zu konzentrieren;
5. Einschränkung des Upload-Bereichs für sensible Proben, Prompts und Modellausgaben;
6. Stellen Sie Alarme für Ausnahmen, Speicherungspolitiken sowie manuelle Überprüfungen ein, bevor Sie sie auf das Team ausweiten;

Für welche Nutzer geeignet?

• Für Einzelpersonen, die sich auf den Verlust, die Metriken und die Hyperparameter konzentrieren müssen.
• Team für das Feintuning großer Modelle, Reinforcement Learning und multimodales Training;
• Benutzer, die Wandb ersetzen oder migrieren sowie die Zusammenarbeit mit TensorBoard verbessern möchten;
• Laboratorien, die inländische Beschleuniger wie Ascend, Cambricon, Kunlun und Muxi verwenden;
• Unternehmen, die verlangen, dass die Experimentaldaten offline oder privat gespeichert werden.

Vorteile des Produkts

• Die Anbindung an Python ist einfach, es werden über 40 Trainingsframeworks unterstützt;
• Es gibt eine Vielzahl an Indikatoren, Medien, Protokollen sowie Möglichkeiten zur Überwachung von Umgebungen und Hardware.
• Unterstützung für Cloud, Offline, Docker und Kubernetes;
• Kompatibel mit inländischen Beschleunigern und bietet chinesische Dokumentationen;
• Historische Daten von Wandb und TensorBoard können migriert werden;
• Das SDK ist unter der Apache 2.0-Open-Source-Lizenz verfügbar.

Einschränkungen und Hinweise

• Es gibt Obergrenzen für die Cloud-Speicherung und die Anzahl der Datenpunkte – die Medienprotokolle nehmen schnell Platz in Anspruch.
• Die Pro- und Team-Versionen sind derzeit noch als bald verfügbar markiert.
• Die kostenlose Community-Selbstverwaltungs-Lizenz beschränkt sich auf den privaten und nicht-kommerziellen Gebrauch und bietet keine Teamverwaltung.
• Server- und Cloud-Dienste sind nicht vollständig open source; die Unternehmensversion erfordert eine individuelle Lizenz.
• Experimentelle Tracking-Methoden können keine Ersatz für Modellrepositories, Datenversionen, Deployment-Register sowie umfassende MLOps-Prozesse sein.
• Wichtige Projekte sollten weiterhin Checkpoints, Datenhashes und Codeversionen speichern;

Häufige Fragen

Ist SwanLab kostenlos?

Free im Cloud-Modell kostet 0 Euro und beinhaltet 10 GB. Privatpersonen können kostenlos eine von der Community selbst verwaltete Lizenz beantragen, dies ist jedoch nur für nicht-kommerzielle Zwecke erlaubt und muss jährlich erneuert werden;

Für die Zusammenarbeit zwischen Unternehmen sind kostenpflichtige Lösungen erforderlich.

Wie viel kostet SwanLab Pro?

Auf der Preisseite wird derzeit 59 Yuan pro Person pro Monat sowie 100 GB Speicherplatz angegeben. Es wird jedoch darauf hingewiesen, dass diese Angaben noch vorläufig sind. Die endgültigen Preise und der Zeitpunkt des Kaufs entnehmen Sie bitte der Account-Seite.

Kann SwanLab vollständig offline verwendet werden?

Unterstützung für Offline-Erfassung und Self-Hosting. Die neue Version des Self-Hostings ermöglicht die Offline-Überprüfung der Lizenzen, doch vor der Bereitstellung müssen Anträge auf Lizenzen, Aktualisierungen sowie Bedingungen im Falle eines Netzwerkausfalls überprüft werden.

Unterstützt SwanLab LLaMA Factory?

Es wird Unterstützung geboten, außerdem sind zahlreiche Trainingss Frameworks wie ms-swift, Transformers, veRL, TRL usw. integriert, die über Callbacks oder den Parameter report_to aktiviert werden können.

Ist SwanLab Open Source?

Das Python SDK ist unter der Apache 2.0-Lizenz open source, doch der Cloud-Teil ist nicht offen zugänglich. Die selbst gehosteten Dienste werden über separate Images und Lizenzen bereitgestellt, wodurch man es nicht als vollständig open source Plattform bezeichnen kann.