ComfyUI

Was ist ComfyUI?

ComfyUI ist eine open-source, nodebasierte Benutzeroberfläche sowie ein Inferenzmotor für generatives AI. Die Benutzer verbinden Schritte wie das Laden von Modellen, die Kodierung von Prompts, Sampling, ControlNet, LoRA, Vergrößerung, Bildverarbeitung und Ausgabe zu einem visualisierbaren Workflow, um so jeden Parameter und Datenfluss präzise steuern zu können.

Ursprünglich wurde es durch den Stable Diffusion-Workflow populär, und heute umfasst die offizielle Anwendungsbreite Bilder, Videos, Audio, 3D sowie externe Modell-APIs. Der Workflow kann sowohl auf lokaler Hardware ausgeführt werden als auch über die offizielle Comfy Cloud genutzt oder als API-Aufruf exportiert werden.

Node-basiertes AI-Zeichnungsworkflow

Jeder Knoten ist für einen bestimmten Schritt verantwortlich; die Verbindungen zwischen den Knoten stellen die Übertragung von Bildern, latenten Räumen, Bedingungen, Modellen, Masken oder Parametern dar. Im Vergleich zu Benutzeroberflächen mit nur einer Gruppe an Formularparametern eignet sich ComfyUI besser für komplexe Strukturen, Wiederverwendung sowie die Massenerstellung von Inhalten.

Auch Diagramme mit Knoten können leicht sehr umfangreich werden. Es wird empfohlen, die Knoten in Gruppen einzuteilen, ihnen Namen zu geben und Anmerkungen hinzuzufügen. Zudem sollten die einstellbaren Parameter in einem Eingabebereich zusammengefasst werden, damit das Team sie besser verwalten kann.

Modell- und Stichprobensteuerung

Die Benutzer können jeweils Checkpoint, VAE, Textencoder, Sampler, Scheduler, Anzahl der Schritte, CFG, Seed und Auflösung auswählen; außerdem können mehrere Modelle in derselben Workflow kombiniert werden. Die Verzeichnisstruktur, Genauigkeit, GPU-Ram-Anforderungen sowie Lizenzbedingungen unterscheiden sich bei den verschiedenen Modellen.

Bild aus Text und Bild aus Bild

Der grundlegende Ablauf unterstützt die Erstellung von Bildern aus Text, das Neuzeichnen von Bildern, das teilweise Neuzeichnen, die Vergrößerung von Bildern, den Stilwechsel sowie die Reparatur von Bildern in hoher Auflösung. Über die Knoten lässt sich die Intensität der Rauschreduzierung, die Maskierung, die Größe sowie das Mehrphasen-Sampling präzise steuern.

ControlNet, LoRA und bedingte Steuerung

ComfyUI kann Haltungen, Tiefe, Ränder, Linienzeichnungen, Referenzbilder sowie LoRA-Stile als Bedingungen in den Workflow einbeziehen. Mehrere Steuerungsabläufe können mit unterschiedlichen Gewichten und Zeitintervallen auf den Generierungsprozess einwirken.

Die Lizenzen für Modelle und LoRA können die kommerzielle Nutzung, die Verwendung von Personen oder die Weiterverbreitung einschränken. Beim Herunterladen sollte man die ursprüngliche Lizenz lesen, nicht nur den Anleitungstext des Workflow-Erstellers befolgen.

Videos, Audiodateien und 3D-Generierung

Offizielle Dokumentationen sowie Diagramme zur Darstellung der Node-Ökologie umfassen Bereiche wie Videoerstellung aus Text, Frame-Interpolation, Lip-Sync, Audioerzeugung sowie 3D-Voransichten mit Methoden wie Gaussian Splat und Point Clouds. Video-Workflows erfordern in der Regel mehr Grafikspeicher, mehr Rechenzeit und mehr Speicherplatz auf der Festplatte.

Die Kompatibilität mit Drittanbieter-Noden und Modellen ändert sich schnell. Vor dem Ausführen eines öffentlichen Workflows muss man die erforderliche Version, die Modelldateien, die Auflösung sowie den Grafikspeicher überprüfen.

Workflow-Vorlage

Auf der offiziellen Website sowie in der App werden Workflows und Vorlagen für die Community bereitgestellt. Nutzer können mit bereits überprüften Prozessen beginnen und anschließend Modelle, Prompts sowie Eingabedaten ersetzen. Vorlagen verkürzen die Einarbeitungszeit, doch nach dem Import treten oft Probleme wie das Fehlen von Modellen oder benutzerdefinierten Knoten auf.

App-Modus vereinfacht die Benutzeroberfläche

App-Modus kann komplexe Knotenpläne in eine vereinfachte Bedienoberfläche für Endbenutzer umwandeln, die nur Bilder, Hinweise, Optionen und Ausführungsknöpfe anzeigt. Er eignet sich dazu, interne Arbeitsabläufe Designern, Kunden oder nicht-technischen Kollegen zur Verfügung zu stellen.

Vor der Veröffentlichung der App sollten hochriskante Parameter, externe Aufrufe sowie Dateipfade eingeschränkt werden, und es sollten Hinweise für Fehlzustände sowie Nutzungsmengen bereitgestellt werden.

ComfyUI Desktop-Version

Desktop bietet eine benutzerfreundlichere Installation und Aktualisierungs Erfahrung für den lokalen Betrieb und integriert standardmäßig Komponenten wie Manager. Der Benutzer muss weiterhin kompatible Hardware, Treiber, Modelldateien sowie Speicherplatz bereitstellen.

Die Desktop-Version erhebt bei lokaler Verarbeitung keine Gebühren pro generierter Anfrage, doch Stromkosten, GPU-Ressourcen und Speicher werden vom Benutzer getragen; beim Aufrufen von Online-Modellen wie Partner Nodes können Credits oder Gebühren an Dritte anfallen.

Installation von Windows, macOS und Linux

Die offiziellen Dokumente geben Anleitungen zur Installation unter Windows, macOS und Linux. Windows-Nutzer können zwischen der Desktop-Version oder der portable Version wählen;

macOS kann die Apple-Chip-Umgebung nutzen; Linux und fortgeschrittene Benutzer verwenden in der Regel eine manuelle Python-Umgebung.

Vor der Installation sollten die Anforderungen an Python, PyTorch, GPU-Treiber sowie den Grafikspeicher überprüft werden. Vermischen Sie die Abhängigkeiten mehrerer KI-Tools nicht mit dem System-Python – eine separate Umgebung erleichtert das Zurücksetzen.

Arbeitsspeichermanagement

ComfyUI lädt und lädt Modelle je nach Workflow-Anforderung, und es stehen verschiedene VRAM-Strategien zur Verfügung. Die tatsächlich ausführbaren Modelle hängen von der Größe der Parameter, der Präzision, der Auflösung, der Batch-Größe, der Implementierung von Attention-Mechanismen sowie vom System-RAM ab.

Der Modus mit geringerem Speicherverbrauch kann die Hürden senken, erhöht aber in der Regel den Datenaustausch zwischen CPU und GPU, wodurch die Geschwindigkeit erheblich abnehmen kann.

ComfyUI Manager

Manager ist zu einer zentralen Komponente bei der Verwaltung durch offizielle Organisationen geworden. Er dient dazu, benutzerdefinierte Knoten zu suchen, zu installieren, zu aktivieren, zu deaktivieren und zu aktualisieren. Zudem weist er darauf hin, wenn beim Import von Workflows Knoten fehlen. Die neue Benutzeroberfläche ermöglicht hauptsächlich die Installation bereits registrierter Knoten über das Registry-System.

Die alte Version des Managers bietet außerdem Snapshots an, die es ermöglichen, den Zustand der Umgebung vor einer Aktualisierung zu speichern und bei Abhängigkeitskonflikten wiederherzustellen. Die nightly-Version ist der Entwicklungsbranche näher; ihre Stabilität sowie die Sicherheitsprüfungen sind nicht so gut wie bei der offiziell veröffentlichten Version.

Custom-Node

Die Community kann Knoten mit Python und Frontend-Komponenten erweitern; laut den offiziellen Angaben umfasst das Ökosystem mehr als 60.000 Knoten. Benutzerdefinierte Knoten können Unterstützung für Modelle, Bildverarbeitung, API-Verbindungen sowie spezielle Benutzeroberflächen bereitstellen.

Das Installieren von Nodes ist gleichbedeutend damit, Drittanbieter-Code auf dem eigenen Rechner auszuführen. Es sollten der Repository-Zustand, der Wartungsstatus sowie die Abhängigkeiten und Installationsskripte überprüft werden. Nodes unbekannten Ursprungs sollten nicht in Umgebungen mit sensiblen Dateien oder API-Schlüsseln platziert werden.

Abhängigkeitskonflikte und Umgebungs-Snapsshots

Verschiedene Knoten können inkompatible Versionen von Python-Paketen erfordern. Vor dem Update sollten Sie einen Snapshot des Managers sowie eine Liste der Workflows und Modelle speichern. Im Falle von Problemen sollte man lieber zu einer bekannten, funktionierenden Kombination zurückkehren, anstatt alle Komponenten auf einmal zu aktualisieren.

Workflow JSON

ComfyUI-Workflows können als JSON gespeichert werden, wodurch Knoten, Verbindungen, Parameter sowie die Benutzeroberflächenanordnung beschrieben werden. Auch Ausgabeformate wie Bilder können Metadaten des Workflows enthalten, was das Wiederladen und Nachstellen erleichtert.

Bevor JSON oder Bilder geteilt werden, sollte überprüft werden, ob sie Hinweise, Dateinamen, interne Pfade, Kontoinformationen oder API-Schlüssel enthalten. Die Wiederherstellung setzt außerdem das gleiche Modell, die gleichen Knoten und die gleiche Version voraus.

Lokale API

Der lokale ComfyUI-Server bietet Funktionen wie Workflow-Warteschlangen, Historie, Dateiverwaltung sowie WebSocket-Zustände. Entwickler können die in der UI abgeschlossenen Workflows im API-Format exportieren und anschließend die Prompte, Seeds, Bilder sowie andere Eingabedaten des Programs ändern.

Standarddienste sollten nicht direkt der Öffentlichkeit zugänglich gemacht werden. Für den Fernzugriff sind ein Reverse-Proxy, Authentifizierung, HTTPS, Netzwerkbeschränkungen sowie die Trennung der Dateien erforderlich.

Comfy Cloud

Comfy Cloud ist die offiziell gehostete Version, die eine NVIDIA RTX 6000 Pro GPU mit 96 GB Grafikspeicher verwendet. Sie ist bereits mit über 900 Modellen sowie gängigen benutzerdefinierten Knoten vorinstalliert. Die Benutzer müssen keine großen Modelle herunterladen oder Treiber warten – sie können direkt Vorlagen laden und ausführen.

Das Erstellen und Bearbeiten von Workflows verbraucht keine GPU-Credits – nur die tatsächliche Ausführung des Workflows sowie die Aufrufe der Partner-Node werden berechnet. Nach der Erstellung können Bilder, Videos und Audiodateien heruntergeladen werden.

Vergleich der Comfy Cloud-Pakete und Preise

Auf der Preisseite wird für die Hauptkarte der aktuelle Jahrespreis angezeigt: Standard 16 US-Dollar pro Monat, Creator 28 US-Dollar pro Monat, Pro 80 US-Dollar pro Monat. Die entsprechenden Jahrespreise betragen 192, 336 bzw. 960 US-Dollar. Die monatlich bezahlten Credits werden nicht übertragen.

Die zusätzlich erworbenen Top-up-Credits sind maximal ein Jahr gültig.

Wie werden Credits verbraucht?

Credits werden für die Laufzeit aktiver GPUs sowie für Partner Nodes verwendet. Die Bearbeitung von Workflows, Wartezeiten und inaktive Zeiten sind nicht kostenpflichtig.

Ein Beispiel für ein Video von fünf Sekunden verbraucht etwa 11 Credits, doch der tatsächliche Verbrauch hängt vom Modell, der Auflösung, der Anzahl der Frames, der Anzahl der Schritte sowie vom Partner Node ab.

Partner Nodes

Partner Nodes ermöglichen es den Nutzern, in dem Knotenplan verschiedene Partnermodelle wie Nano Banana, Kling, Luma, Runway usw. zu nutzen. Sie verwenden denselben Credit-Bestand, wobei der Preis pro Nutzung von dem jeweiligen Modell und den Parametern abhängt.

Partner-Node können auch lokal in ComfyUI verwendet werden, gehören aber weiterhin zu Cloud-API-Aufrufen. Einige Anbieter unterstützen BYOK, wobei die Gebühren direkt beim jeweiligen Anbieter erhoben werden.

Einfügen eigener Modelle und LoRA

Creator, Pro und Team können eigene Modelle sowie LoRA von CivitAI oder Hugging Face importieren. Cloud unterstützt nur kompatible Formate und Knoten; die Importierung bedeutet nicht, dass eine kommerzielle Lizenz für das Modell vorliegt.

Cloud API

Die Cloud-API akzeptiert Workflows im JSON-Format, die mit lokalen APIs kompatibel sind. Sie ermöglicht es, die Eingaben der Knoten zu ändern, mehrere Aufgaben gleichzeitig auszuführen, den Fortschritt über WebSocket zu überwachen sowie eine Echtzeit-Voransicht zu erhalten. Sie eignet sich dazu, Prototyp-Workflows als Anwendungen oder in Produktionsumgebungen einzusetzen.

Die aktuellen Werte für die parallele Verarbeitung über die API sind bei Standard 1, bei Creator 3 und bei Pro 5. Die Warteschlange kann bis zu 100 Workflows aufnehmen. Für größere Mengen sind Beschränkungen in Form von Team- oder Enterprise-Lizenzen notwendig.

MCP verbindet den AI-Agenten

Die offiziellen Dokumente geben Anleitungen zum MCP-Ansatz, damit kompatible AI-Agenten Comfy-Workflows aufrufen können, um Bilder, Videos, Audiodateien und 3D-Inhalte zu erzeugen. Bevor Agenten Aufgaben mit hohem Aufwand ausführen, sollte die geschätzte Verbrauchsmenge angezeigt werden, und für die Massenerstellung sowie die externe Veröffentlichung ist eine manuelle Bestätigung erforderlich.

Open-Source-Lizenzen und GitHub

Das offizielle GitHub-Repositorium von ComfyUI befindet sich derzeit in der Organisation Comfy-Org; die alte Adresse leitet weiter. Das Kernprojekt wird unter der GPL-3.0-Lizenz bereitgestellt, wobei Quellcode, Probleme, veröffentlichte Versionen sowie Eintragungen zu Beiträgen öffentlich zugänglich sind.

Open Source ist der Code von ComfyUI – das bedeutet jedoch nicht, dass die heruntergeladenen Modelle, benutzerdefinierten Knoten, Partner Nodes oder generierten Materialien alle unter derselben Lizenz stehen. Bei kommerziellen Projekten muss jede Abhängigkeit separat geprüft werden.

Anleitung zur Verwendung von ComfyUI

Eine grundlegende Aufgabe erledigen

1. In ComfyUI werden die Auslösebedingungen, die Eingabedaten und die endgültigen Aktionen klar festgelegt;
2. Verbinden Sie sich mit einem Testkonto mit der erforderlichen Anwendung und gewähren Sie nur die notwendigsten Berechtigungen;
3. Konfigurieren Sie den Workflow für nodebasiertes KI-Zeichnen sowie die Steuerung von Modellen und Proben, wobei die Felder einzeln zugeordnet werden;
4. Hinzufügen von Branches, Fehlerbehandlung, Wiederholversuche und manuelle Freigabe;
5. Führen Sie mit einer kleinen Menge an Testdaten aus und überprüfen Sie die Ausgabe bei jedem Schritt;
6. Stellen Sie sicher, dass es keine doppelten Schreibvorgänge sowie keine ungewöhnlichen Gebühren gibt, bevor Sie den regulären Ablauf aktivieren.

Erstellung wiederverwendbarer professioneller Workflows

1. Wählen Sie Geschäftsprozesse mit hoher Wiederholungshäufigkeit und klaren Regeln aus;
2. Zeichnen Sie die Pfade für Auslösung, Prüfung, Ausführung und Rollback;
3. Die Workflow-Strukturen für das Node-basierte KI-Bildgenerieren, die Steuerung von Modellen und Stichproben sowie die Verfahren zur Erzeugung von Bildern aus Texten bzw. von Texten aus Bildern in wiederverwendbare Module aufteilen;
4. Einstellen von Protokollen, Budgets, Zeitlimits und Berechtigungsgrenzen;
5. Der Verantwortliche soll die Ergebnisse der Stichprobenprüfungen überprüfen und die fehlerhaften Aufträge bearbeiten;
6. Monatlich die Anwendungsrechte, Geschäftsregeln und tatsächlichen Kosten überprüfen;

Für welche Nutzer geeignet?

• Kreative, die eine präzise Kontrolle über den AI-Bildgenerierungsprozess benötigen;
• Technische Kunst für die Erstellung von Bildern, Videos, Audiodateien und 3D-Modelle;
• Teams, die auf Wiederverwendung, Batch-Verarbeitung und automatisierte Erstellung setzen;
• Benutzer, die Open-Source-Modelle auf einer lokalen GPU ausführen;
• Entwickler, die Workflows über APIs in Produkte integrieren;
• Unternehmen, die viel VRAM im Cloud-Umfeld sowie Hosted-Inferenz benötigen.

Vorteile des Produkts

• Alle Modelle, Parameter und Schritte sind visualisierbar und anpassbar;
• Offene Quelle, kann lokal ausgeführt werden und verfügt über eine umfangreiche Node-Ökologie;
• Workflows können gespeichert, geteilt, wiedergegeben und in eine API umgewandelt werden;
• Abdeckung von Bildern, Videos, Audiodateien und 3D-Generierung;
• Die offiziellen Desktop-, Cloud-, Manager-, API- und MCP-Lösungen bilden ein vollständiges System.
• App-Modus kann komplexe Prozesse an normale Benutzer übertragen.

Einschränkungen und Hinweise

• Die Lernkurve ist steil, komplexe Knotenstrukturen sowie Abhängigkeitskonflikte müssen verwaltet werden;
• Dritte Knoten weisen ein Risiko der Codeausführung auf, und die Autorisierung der Modelle muss ebenfalls einzeln überprüft werden.
• Die lokale Ausführung ist durch den Arbeitsspeicher, die Treiber sowie die Festplatte eingeschränkt, während Cloud nach Credits und Dauer der Aufgabe abgerechnet wird.
• Öffentliche Dienste müssen mit Authentifizierung versehen sein; vor dem Teilen von Workflows müssen Schlüssel und interne Pfade entfernt werden.
• Die erstellten Inhalte müssen auch den Richtlinien zu Porträts, Urheberrechten und Plattformrichtlinien entsprechen.

Häufige Fragen

Ist ComfyUI kostenlos?

Die lokale Open-Source-Version ist kostenlos; Comfy Cloud bietet 5 kostenlose GPU-Ausführungen an, danach wird nach Paketen und Credits abgerechnet.

Braucht ComfyUI eine Grafikkarte?

Die lokale Erstellung erfordert in der Regel eine Kompatibilität mit einer GPU; die genauen Anforderungen hängen vom Modell und dem Workflow ab; ohne geeignete Hardware kann Comfy Cloud nicht verwendet werden.

Kann ComfyUI Videos erstellen?

Ja, der offizielle Kern, die Vorlagen sowie die benutzerdefinierten Knoten unterstützen verschiedene Video-Modelle und Verarbeitungsschritte.

Bietet ComfyUI eine API?

Es werden eine lokale Server-API sowie eine offizielle Cloud-API bereitgestellt, über die exportierte Workflow-JSON-Dateien ausgeführt und der Fortschritt über WebSocket verfolgt werden kann.

Ist ComfyUI open source?

Open Source, das offizielle Hauptrepositorium verwendet die GPL-3.0-Lizenz; für Modelle und Drittanbieter-Node sind gesonderte Genehmigungen erforderlich.