ComfyUI

Qu’est-ce que ComfyUI ?

ComfyUI est une interface et un moteur de raisonnement pour l’IA générative, de type nodal et open source. Les utilisateurs relient des étapes telles que le chargement des modèles, l’encodage des prompts, l’échantillonnage, ControlNet, LoRA, l’amplification, le traitement d’image et la sortie en un flux de travail visuel, permettant ainsi de contrôler avec précision chaque paramètre et flux de données.

Il est devenu populaire à l’origine grâce au flux de travail Stable Diffusion, et son champ d’application officiel s’est depuis étendu aux images, vidéos, audio, 3D et aux API de modèles externes. Le flux de travail peut être exécuté sur du matériel local, ou utilisé via le Comfy Cloud officiel, ou encore exporté pour des appels API.

Workflow de dessin par IA à nœuds

Chaque nœud est responsable d’une étape précise, et les liens entre les nœuds représentent la transmission d’images, de sous-espaces, de conditions, de modèles, de masques ou de paramètres. Par rapport aux interfaces ne disposant que d’un ensemble limité de paramètres de formulaire, ComfyUI convient mieux aux branches complexes, à la réutilisation et à la génération en masse.

Le diagramme de nœuds peut également devenir très volumineux. Il est recommandé de regrouper les nœuds, de leur donner des noms, d’ajouter des descriptions, et de centraliser les paramètres réglables dans la zone d’entrée, afin d’éviter que l’équipe ne rencontre des difficultés pour en assurer la maintenance.

Modélisation et contrôle d’échantillonnage

L’utilisateur peut choisir séparément Checkpoint, VAE, encodeur de texte, échantillonneur, planificateur, nombre d’étapes, CFG, seed et résolution, et peut également combiner plusieurs modèles dans le même flux de travail. La structure des dossiers, la précision, la mémoire vidéo et les exigences en matière de licence varient selon les différents modèles.

Génération d’images à partir de texte et génération d’images à partir d’images

Le flux de base prend en charge la génération d’images à partir de texte, la redessin d’images, le redessin local, l’agrandissement, le changement de style et la restauration en haute résolution. Grâce aux nœuds, il est possible de contrôler avec précision l’intensité du débruitage, les masques, les dimensions ainsi que l’échantillonnage en plusieurs étapes.

ControlNet, LoRA et contrôle conditionnel

ComfyUI peut intégrer des conditions telles que la posture, la profondeur, les bords, les lignes de contour, les images de référence et le style LoRA dans le flux de travail. Plusieurs branches de contrôle peuvent agir sur le processus de génération avec des poids et des durées différentes.

Les licences des modèles et de LoRA peuvent limiter l’utilisation commerciale, l’utilisation de personnages ou la redistribution. Il convient de lire la licence originale lors du téléchargement, et non de se fier uniquement aux instructions de l’auteur du flux de travail.

Vidéos, audio et génération 3D

Les documents officiels et la carte de l’écosystème des nœuds couvrent les domaines de la génération de vidéo à partir d’images, de la génération de vidéo à partir de texte, de l’interpolation de frames, de la synchronisation des lèvres, de la génération audio, ainsi que les prévisualisations 3D telles que Gaussian Splat et les nuages de points. Les workflows vidéo nécessitent généralement plus de mémoire vidéo, de temps de traitement et d’espace disque.

La compatibilité des nœuds tiers avec le modèle évolue rapidement ; avant d’exécuter un flux de travail public, il est nécessaire de vérifier la version requise, les fichiers du modèle, la résolution et la mémoire vidéo.

Modèle de flux de travail

Le site officiel et l’application proposent des workflows communautaires et des modèles ; les utilisateurs peuvent commencer par des processus déjà éprouvés, puis remplacer les modèles, les prompts et les éléments d’entrée. Les modèles permettent de réduire le temps d’apprentissage, mais après leur importation, il arrive souvent que des modèles ou des nœuds personnalisés manquent.

Mode App simplifie l’interface

Le mode App peut transformer un graphique de nœuds complexe en une interface d’utilisation simplifiée destinée à l’utilisateur final, ne montrant que des images, des instructions, des options et des boutons de mise en exécution. Il convient pour mettre à disposition des workflows internes à des designers, des clients ou des collègues non techniques.

Avant de publier l’application, il convient de restreindre les paramètres à haut risque, les appels externes et les chemins de fichiers, et de mettre en place des alertes pour les états d’erreur et la consommation.

Version desktop de ComfyUI

Desktop offre une expérience d’installation et de mise à jour plus conviviale pour le fonctionnement local, et intègre par défaut des composants tels que le Manager. L’utilisateur doit néanmoins disposer d’un matériel compatible, de pilotes, de fichiers de modèles et d’espace disque suffisant.

La version desktop n’est pas facturée en fonction du nombre de génération lors du traitement local, mais l’électricité, les GPU et le stockage sont à la charge de l’utilisateur ; l’appel à des modèles en ligne tels que les Partner Nodes peut entraîner une consommation de Credits ou des frais auprès de tiers.

Installation sur Windows, macOS et Linux

La documentation officielle fournit des instructions d’installation pour Windows, macOS et Linux. Les utilisateurs de Windows peuvent choisir la version desktop ou la version portable ;

macOS peut tirer parti de l’environnement des puces Apple ; Linux et les utilisateurs avancés utilisent généralement un environnement Python manuel.

Avant l’installation, vérifiez les exigences en matière de Python, PyTorch, de pilotes GPU et de mémoire vidéo. Ne mélangez pas les dépendances de plusieurs outils d’IA dans le Python système ; un environnement indépendant permet une restauration plus facile.

Gestion de la mémoire vidéo

ComfyUI charge et décharge les modèles en fonction des besoins du flux de travail, et propose différentes stratégies d’utilisation de la mémoire vidéo. Les modèles pouvant être exécutés dépendent de la taille des paramètres, de la précision, de la résolution, du batch, de la mise en œuvre de l’attention et de la mémoire système.

Le mode à faible mémoire vidéo peut abaisser le seuil d’accès, mais il augmente généralement l’échange de données entre le CPU et la GPU, ce qui peut entraîner une baisse significative de la vitesse.

ComfyUI Manager

Le gestionnaire est devenu l’élément central sur lequel s’appuie l’organisation officielle pour gérer les nœuds personnalisés : il permet de les rechercher, d’installer, d’activer, de désactiver et de mettre à jour, ainsi que de signaler les nœuds manquants lors de l’importation de workflows. La nouvelle interface se concentre principalement sur l’installation des nœuds enregistrés via le Registry.

L’ancienne version de Manager propose également des snapshots, ce qui permet de sauvegarder l’état de l’environnement avant mise à jour et de le restaurer en cas de conflit de dépendances. La version nightly est plus proche du branche de développement ; sa stabilité et ses analyses de sécurité sont inférieures à celles de la version officielle.

Nœud personnalisé

La communauté peut étendre les nœuds à l’aide de Python et de composants frontend ; selon les autorités, l’écosystème compte plus de 60 000 nœuds. Des nœuds personnalisés peuvent ajouter un soutien aux modèles, du traitement d’images, des connexions API et des interfaces spéciales.

Installer un nœud équivaut à exécuter du code tiers sur le poste local. Il convient de vérifier le répertoire, l’état de maintenance, les dépendances et les scripts d’installation ; il ne faut pas placer des nœuds d’origine inconnue dans un environnement contenant des fichiers sensibles ou des clés API.

Conflits de dépendances et captures d’état de l’environnement

Les différents nœuds peuvent exiger des versions de paquets Python incompatibles. Avant de mettre à jour, il convient de sauvegarder un snapshot du Manager, ainsi que la liste des workflows et des modèles. En cas de problème, il est préférable de revenir à une combinaison connue comme fonctionnelle, plutôt que de mettre à jour tous les composants en même temps.

JSON de flux de travail

Les flux de travail ComfyUI peuvent être enregistrés au format JSON, décrivant les nœuds, les connexions, les paramètres et la disposition de l’interface. Les sorties telles que les images peuvent également contenir des métadonnées du flux de travail, ce qui facilite leur rechargement et leur reproduction.

Avant de partager du JSON ou des images, il convient de vérifier s’ils contiennent des mots-clés, des noms de fichiers, des chemins internes, des informations d compte ou des clés API. La reproductibilité dépend également du même modèle, des mêmes nœuds et de la même version.

API locale

Le serveur local ComfyUI offre des interfaces pour la file d’attente des workflows, l’historique, les fichiers et l’état WebSocket. Les développeurs peuvent exporter les workflows débogués dans l’UI au format API, puis modifier les prompts, les seeds, les images et les autres entrées de nœuds depuis le programme.

Les services par défaut ne doivent pas être exposés directement à Internet. Pour l’accès à distance, il faut ajouter un proxy inversé, une authentification, HTTPS, des restrictions réseau et une isolation des fichiers.

Comfy Cloud

Comfy Cloud est la version hébergée officielle, utilisant une GPU NVIDIA RTX 6000 Pro dotée de 96 Go de mémoire vidéo, préinstallée avec plus de 900 modèles et des nœuds personnalisés courants. Les utilisateurs n’ont pas besoin de télécharger de grands modèles ni de gérer des pilotes ; ils peuvent directement charger des templates et les exécuter.

La création et l’édition des workflows ne consomment pas de GPU Credits ; seuls le fonctionnement réel du workflow ainsi que les appels aux Partner Nodes sont facturés. Une fois la génération terminée, il est possible de télécharger des images, des vidéos et de l’audio.

Comparaison des forfaits et des prix de Comfy Cloud

Sur la page de tarification, le calcul annuel pour les abonnements actuels affiche 16 dollars par mois pour Standard, 28 dollars par mois pour Creator et 80 dollars par mois pour Pro, soit 192, 336 et 960 dollars en paiement annuel respectivement. Les Credits payés mensuellement ne sont pas reportés ;

Les crédits Top-up achetés en supplément sont valables pendant un an au maximum.

Comment les crédits sont-ils consommés ?

Les Crédits sont utilisés pour le temps de fonctionnement des GPU actifs et les Nœuds Partenaires. L’édition des workflows, l’attente et le temps inactif ne sont pas facturés.

Un exemple de vidéo de cinq secondes consomme environ 11 crédits, mais la consommation réelle varie en fonction du modèle, de la résolution, du nombre de frames, du nombre d’étapes et du Node Partenaire.

Partner Nodes

Les nœuds partenaires permettent aux utilisateurs d’appeler des modèles collaboratifs tels que Nano Banana, Kling, Luma, Runway, etc., dans le graphique des nœuds. Ils utilisent le même solde de crédits, et le prix par utilisation est déterminé par le modèle et les paramètres.

Les nœuds partenaires peuvent également être utilisés localement dans ComfyUI, mais ils relèvent néanmoins d’appels API cloud. Certains fournisseurs prennent en charge le BYOK, les frais étant facturés directement par le fournisseur concerné.

Importer des modèles personnalisés et LoRA

Creator, Pro et Team peuvent importer leurs propres modèles et LoRA depuis CivitAI ou Hugging Face. Cloud ne prend en charge que les formats et nœuds compatibles ; l’importation ne signifie pas qu’une licence commerciale pour le modèle est accordée.

Cloud API

L’API Cloud accepte des flux de travail JSON compatibles avec l’API locale, et prend en charge la modification programmée des entrées des nœuds, l’exécution en batch, le suivi via WebSocket et une prévisualisation en temps réel. Elle convient pour déployer des flux de travail de prototype en tant qu’applications ou dans des pipelines de production.

Les limites de concurrence actuelles pour les API Standard, Creator et Pro sont respectivement de 1, 3 et 5, et la file d’attente peut accueillir jusqu’à 100 flux de travail. Pour des volumes plus importants, il est nécessaire de négocier des limites avec Team ou Enterprise.

MCP connecte l’agent IA

La documentation officielle fournit une orientation MCP, permettant aux agents IA compatibles d’appeler les workflows Comfy pour générer des images, des vidéos, de l’audio et du contenu 3D. Avant d’exécuter des tâches coûteuses, les agents doivent afficher la consommation estimée et introduire une validation manuelle pour la génération en masse et la publication externe.

Licences open source et GitHub

Le dépôt GitHub officiel de ComfyUI se trouve actuellement dans l’organisation Comfy-Org ; l’ancienne adresse est redirigée. Le projet principal est licencié sous la licence GPL-3.0, le code source, les problèmes signalés, les versions publiées ainsi que les contributions sont accessibles au public.

Le code ComfyUI est open source, mais cela ne signifie pas que les modèles téléchargés, les nœuds personnalisés, les Partner Nodes ou les contenus générés sont soumis à la même licence. Les projets commerciaux doivent examiner chaque dépendance individuellement.

Tutoriel d'utilisation de ComfyUI

Terminer une tâche de base

1. Dans ComfyUI, préciser les conditions de déclenchement, les données d’entrée et l’action finale ;
2. Se connecter à l’application requise avec un compte de test et accorder les permissions minimales ;
3. Configurer le flux de travail d’infographie IA par nœuds ainsi que le contrôle des modèles et de l’échantillonnage, en mappant chaque champ individuellement ;
4. Ajout de branches, gestion des échecs, tentatives de réessai et approbation manuelle ;
5. Exécuter avec une petite quantité de données de test et vérifier la sortie à chaque étape ;
6. Activer le processus officiel uniquement après avoir confirmé l’absence d’écritures redondantes et de frais anormaux ;

Créer des flux de travail professionnels réutilisables

1. Choisir des processus métier à une fréquence de répétition élevée et avec des règles bien définies ;
2. Dessiner les chemins de déclenchement, de jugement, d’exécution et de rollback ;
3. Séparer le flux de travail de génération d’images par IA à nœuds, le contrôle des modèles et de l’échantillonnage, ainsi que la génération d’images à partir de texte et de images à partir d’images en modules réutilisables ;
4. Définir les journaux, le budget, les délais et les limites de permissions ;
5. Organiser le responsable pour effectuer des contrôles aléatoires sur les résultats et gérer la file d’échecs ;
6. Revoir mensuellement les permissions d’accès, les règles métier et les coûts réels ;

À qui s’adresse-t-il ?

• Créateurs qui ont besoin d’un contrôle précis du processus de génération d’images par l’IA ;
• Art technique pour la création d’images, de vidéos, d’audio et de pipelines 3D ;
• Équipes souhaitant la réutilisation, le traitement par lots et la génération automatisée ;
• Utilisateurs qui exécutent des modèles open source sur une GPU locale ;
• Développeurs qui intégrent des workflows générés au produit via une API ;
• Les entreprises ayant besoin de grandes quantités de mémoire vidéo en cloud et d’inférence hébergée.

Avantages du produit

• Tous les modèles, paramètres et étapes sont visuels et ajustables ;
• Open source, pouvant être exécuté localement et disposant d’une vaste écosystème de nœuds ;
• Les flux de travail peuvent être enregistrés, partagés, reproduits et convertis en API ;
• Couverture d’images, de vidéos, d’audio et de génération 3D ;
• L’ensemble officiel Desktop, Cloud, Manager, API et MCP forme un système complet ;
• Le mode App permet de confier des processus complexes à des utilisateurs ordinaires.

Restrictions et précautions

• La courbe d’apprentissage est élevée, et les diagrammes de nœuds complexes ainsi que les conflits de dépendances nécessitent une maintenance ;
• Les nœuds tiers présentent un risque d’exécution de code, et l’autorisation des modèles doit également être examinée un par un ;
• L’exécution locale est limitée par la mémoire vidéo, les pilotes et le disque, tandis que le Cloud facture en fonction des crédits et de la durée de la tâche ;
• Les services publics doivent être soumis à une authentification, et les clés ainsi que les chemins internes doivent être supprimés avant de partager les flux de travail.
• La création de contenu doit également respecter les politiques relatives aux portraits, aux droits d’auteur et aux plateformes ;

Questions fréquentes

ComfyUI est-il gratuit ?

La version open source locale est gratuite ; Comfy Cloud officiel offre 5 exécutions GPU gratuites, puis facture selon des forfaits et des crédits.

ComfyUI a-t-il besoin d’une carte graphique ?

La génération locale nécessite généralement une compatibilité avec une GPU, les exigences spécifiques dépendant du modèle et du flux de travail ; sans un matériel adapté, Comfy Cloud ne peut pas être utilisé.

ComfyUI peut-il générer des vidéos ?

Oui, le noyau officiel, les modèles et les nœuds personnalisés prennent en charge de nombreux modèles vidéo et flux de traitement.

ComfyUI propose-t-il une API ?

Des API de serveur local et une API Cloud officielle sont fournies, permettant d’exécuter le JSON du flux de travail exporté et de suivre son avancement via WebSocket.

ComfyUI est-il open source ?

Logiciel open source, le dépôt principal officiel est soumis à la licence GPL-3.0 ; les licences des modèles et des nœuds tiers doivent être vérifiées séparément.