EBsynth

Qu’est-ce qu’EbSynth ?

EbSynth est un outil de propagation du style vidéo et d’effets visuels développé par Secret Weapons, créé par Šárka Sochorová et Ondřej Jamriška. Il suffit aux utilisateurs de modifier un ou quelques frames clés dans une vidéo, et le logiciel diffusera les textures et les changements visuels aux images adjacentes.

Il est souvent utilisé pour la conversion de vidéos en animation manuscrite, le retouche partielle, le maquillage numérique, la colorisation de films anciens et le tracé vectoriel. Actuellement, le site officiel s’adresse principalement aux utilisateurs de navigateurs desktop, tandis que la page mobile indique qu’un ordinateur est nécessaire.

EbSynth est-il une IA générative ?

La propagation des cadres clés au cœur d’EbSynth ne fait pas appel à l’IA générative, ni ne dépend de données d’entraînement externes. Elle utilise des méthodes de synthèse de textures non paramétriques pilotées par des exemples et du flux de lumière, en fonction de la vidéo de l’utilisateur et des résultats de calcul des cadres clés.

La plateforme dispose également d’une fonction optionnelle « Generate Image » qui permet de générer des images clés à l’aide de SDXL 1.0. Lors de l’utilisation de cette fonction, la génération des images clés ainsi que du vidéo finale est soumise aux conditions de la licence correspondante du modèle.

Fonctionnalités clés

Propagation du style des frames clés

Lorsqu’un utilisateur dessine ou modifie une frame clé, EbSynth transmet sa couleur, son trait et sa texture aux autres frames de la vidéo. Lorsque l’amplitude du mouvement est importante, on peut ajouter des frames clés pour corriger les zones erronées.

Animation dessinée vidéo

Les artistes peuvent redessiner des scènes représentatives dans un logiciel de dessin, puis EbSynth génère un style continu. Cela réduit le travail de redessin frame par frame, mais les postures clés et les mouvements complexes nécessitent encore un contrôle manuel.

Retouche d’images et maquillage numérique

L’utilisateur peut modifier les détails de la peau, des vêtements, des accessoires ou du fond sur les frames clés, puis transposer ces changements dans la caméra. Les occultations, les rotations rapides et les fortes variations d’éclairage peuvent provoquer des distorsions ou des scintillements.

Coloration et ajustement des couleurs

EbSynth peut étendre les résultats de colorisation d’une seule frame à des vidéos en noir et blanc ou à faible saturation. Pour obtenir des résultats stables, il faut des textures nettes, une lumière douce et une fréquence d’images suffisamment élevée.

Flux de travail des calques transparents

Les frames clés peuvent utiliser un arrière-plan transparent, ne contenant que les éléments à diffuser. Les zones de mouvement indépendantes telles que les yeux, le visage et l’arrière-plan peuvent être séparées en différentes pistes pour être traitées individuellement.

Génération de keyframes par IA

« Generate Image » peut générer des keyframes de style en fonction des entrées ; Pro offre actuellement 100 crédits pour la génération d’images. Lorsque les résultats de l’IA présentent des erreurs de doigts, de bords ou de structure, il est recommandé officiellement de corriger d’abord à l’aide du pinceau avant de réessayer en réduisant l’intensité.

Aperçu des fonctions principales

• Transmettre le style visuel d’une ou de quelques images clés à l’ensemble de la vidéo.
• Transformer une performance en direct en animation dessinée à la main, à l’huile ou dans d’autres formes artistiques.
• Apporter des retouches locales à la vidéo, du maquillage numérique et remplacer des éléments.
• Colorer des images en noir et blanc ou unifier le style chromatique d’une vidéo entière.
• Utiliser des keyframes transparents pour traiter séparément les yeux, le visage et l’arrière-plan.
• Corriger les obstacles, les changements de direction et les erreurs de mouvement en ajoutant des frames clés.
• Il est possible d’utiliser SDXL pour générer des esquisses de frames clés.
• Export gratuit en MP4 720p, la version Pro prend en charge 4K et des séquences PNG.
• Studio offre un traitement entièrement hors ligne et une automatisation en ligne de commande.

Quels scénarios d'utilisation conviennent

• L’animateur convertit les vidéos de référence en personne en animation dessinée à la main.
• Les créateurs de vidéos courtes adoptent un style de dessin et de bande dessinée uniforme.
• Les spécialistes en VFX testent rapidement les maquillages, les costumes et les modifications visuelles locales.
• Corriger les couleurs d’anciens vidéos ou ajouter des couleurs à des matériaux en noir et blanc.
• Des équipes de cinéma indépendant produisent des plans expérimentaux et des validations conceptuelles.
• L’artiste explore de multiples directions visuelles à l’aide d’un petit nombre de frames clés.
• L’atelier traite en masse des processus fixes via une ligne de commande hors ligne.
• Enseigner aux utilisateurs les concepts de keyframes, de flux de lumière et de propagation des textures.

Quelles situations ne conviennent pas vraiment

• Flux de travail entièrement automatisé pour convertir des fichiers longs en vidéos sans scintillement.
• Utilisateurs qui n’ont pas de vidéos d’orientation claires ou qui ne peuvent pas créer des frames clés.
• Contenu avec flou de mouvement, obstruction importante et changements de plan très fréquents.
• Effets spéciaux nécessitant une géométrie tridimensionnelle, une profondeur réelle et une cohérence physique.
• Créateurs qui exigent que toute l’édition et le rendu soient effectués sur le smartphone.
• Les utilisateurs gratuits ou Pro ne peuvent pas télécharger temporairement des fichiers dans le cloud pour les traiter.
• Les équipes qui ont besoin de code source ouvert et de la possibilité de modifier librement les applications commerciales existantes.

Tutoriel de création de base

1. Choisissez des plans courts de quelques secondes, en privilégiant des matériaux nets, stables et avec peu de flou de mouvement.
2. Choisir la frame représentative qui montre la posture complète du sujet et ses textures comme première frame clé.
3. Editez les keyframes dans un logiciel de dessin ou de retouche, en maintenant le contour aligné avec la vidéo d’origine.
4. Importez la vidéo d’instruction et les frames clés dans EbSynth, puis définissez les temps correspondants aux frames clés.
5. Exécutez la propagation et visualisez les résultats, en marquant les erreurs de clignotement, de déformation et d’obstruction.
6. Créer de nouveaux frames clés à l’endroit où l’erreur est la plus évidente pour la corriger.
7. Répéter la diffusion et la vérification, puis exporter la vidéo finale une fois que la stabilité est confirmée.

Étapes d’optimisation des keyframes multiples

1. Créez d’abord une première version avec une frame clé, sans dessiner trop d’images dès le début.
2. Trouver la position dans les résultats de synthèse où la dégradation significative apparaît en premier.
3. Sur la base de cette frame, corriger les yeux, les bords, les textures et les relations d’occultation.
4. Ajouter l’image réparée en tant que nouveau cadre clé à la timeline.
5. Lorsque le fond, le visage et le mouvement des yeux ne sont pas synchronisés, ils sont séparés en pistes indépendantes.
6. Synthétiser chaque piste séparément, puis les superposer dans un logiciel de montage.
7. Vérifiez les points de jonction des keyframes pour éviter des changements brusques de style.

Conseils pour la création d’une vidéo guide de tournage

• Utilisez une lumière douce et uniforme pour réduire les ombres dures en mouvement.
• Choisissez des vêtements et des objets avec des textures traçables.
• Éviter les reflets sur de grandes surfaces, les couleurs unies et les highlights qui changent rapidement.
• Les mouvements rapides utilisent un taux de frames plus élevé, réduisant le flou de mouvement.
• Essayez de maintenir l’intégrité du sujet en réduisant les occultations prolongées et les sorties de cadre.
• Les changements de plan sont traités par segments, sans se propager au-delà des points de montage.
• Testez d’abord de courtes séquences, puis passez à la création des frames clés pour les plans longs.

Conseils pour la création de frames clés

• Choisissez des frames avec un contenu complet et une posture claire, plutôt que les frames intermédiaires où le mouvement est le plus rapide.
• Le contour édité doit être le plus similaire possible à la forme de la vidéo originale.
• Des modifications excessives de la structure des traits du visage et des membres peuvent facilement provoquer des ondulations et des étirements.
• Utilisez des keyframes avec un arrière-plan transparent uniquement pour corriger localement.
• En séparant les zones de mouvement, on peut réduire la pollution mutuelle.
• Les images clés générées par l’IA doivent être corrigées manuellement en termes de structure et de bords avant d’être diffusées.
• Conserver les cadres clés et les versions originaux pour faciliter le retour en arrière et la comparaison.

Comparaison de forfaits et de prix

Voici le plan officiel publié sur le site web lors de la vérification. Le tarif Pro ne comprend pas les taxes sur les ventes ou la TVA qui pourraient s’appliquer ; pour Studio, il est nécessaire de contacter l’entreprise officielle afin d’obtenir un devis en fonction des besoins de déploiement hors ligne et de support.

Le site officiel indique que la version gratuite n’a pas de limite de temps ni de fonctionnalités essentielles, mais il existe des différences en ce qui concerne la résolution d’exportation, le format de sortie et les fonctionnalités avancées. Les prix peuvent varier ; les abonnements et les taxes sont indiqués sur la page de paiement.

Comment choisir la version

• L’apprentissage, les tests de vidéos courtes et les vidéos en 720p peuvent être utilisés gratuitement au départ.
• Choisissez Pro pour une livraison 4K, une séquence PNG et davantage de frames clés IA.
• Lors du traitement de matériel vidéo ou audio confidentiel ou non publié, privilégiez l’évaluation par Studio.
• Les studios qui ont besoin d’un rendu en masse et d’une intégration en chaîne choisissent la solution en ligne de commande.
• Lorsqu’on crée un projet de temps en temps, il faut d’abord vérifier si l’abonnement mensuel peut être finalisé au cours du cycle.
• Utilisez la version gratuite avant d’acheter Pro pour tester si les matériaux sont adaptés à la diffusion de textures.

Abonnement, annulation et remboursement

• Abonnement Pro mensuel, des taxes et frais supplémentaires peuvent s’appliquer.
• Vous pouvez annuler via le menu Utilisateur en haut à droite pour gérer l’abonnement.
• Les droits restent valables jusqu’à la fin du cycle de facturation en cours après annulation.
• Une fois la période terminée, le compte revient automatiquement à la version gratuite.
• Selon les conditions officielles, les frais payés ne sont pas remboursables.
• Les modifications de prix s’appliquent généralement aux abonnements existants au cours du cycle suivant ou 30 jours après notification.
• Avant d’effectuer des achats importants ou en groupe, il convient de vérifier auprès des autorités les conditions du contrat Studio et la portée du support.

Traitement dans le cloud et version offline de Studio

Les fichiers de projet Free et Pro restent sur l’interface locale, mais les vidéos et les frames clés sont temporairement téléchargés sur le serveur pour effectuer la synthèse. Selon le fournisseur, une fois le résultat renvoyé au navigateur, le contenu d’entrée est immédiatement supprimé ; les fichiers ne sont ni partagés, ni utilisés à des fins internes ou pour l’entraînement de l’IA.

Studio fonctionne entièrement hors ligne dans un environnement local et offre une automatisation en ligne de commande ainsi qu’un support dédié. Pour les plans confidentiels, les éléments provenant des clients et les processus internes de l’entreprise, Studio répond plus facilement aux exigences relatives aux limites de données que les solutions cloud.

Droits d’auteur et utilisation commerciale

Si l’utilisateur possède les droits d’auteur sur la vidéo de guidage et les frames clés, les conditions officielles stipulent que l’utilisateur conserve tous les droits d’auteur sur la vidéo générée par EbSynth. Secret Weapons ne revendique pas la propriété des médias entrants ou sortants.

• Obtenir les autorisations nécessaires avant d’utiliser des vidéos, des personnages, des marques et des portraits appartenant à d’autres personnes.
• Le maquillage numérique et le changement de look à partir de personnes réelles doivent éviter toute tromperie ou utilisation non autorisée.
• Conservez le processus de création et les enregistrements d’autorisation lors de l’utilisation de keyframes personnalisés.
• Lorsque les cadres clés de l’IA sont générés par SDXL 1.0, toute la vidéo de sortie est soumise à la licence correspondante.
• Vérifier les droits d’auteur des polices, des éléments visuels, de la musique et des références pédagogiques avant la livraison commerciale.
• Le projet du client définit dans le contrat les formats de téléversement, de suppression et de livraison en cloud.

Avantages du produit

• L’artiste contrôle directement les frames clés, ce qui offre plus de maîtrise que les vidéos basées uniquement sur des prompts.
• La diffusion centrale ne dépend pas de modèles génératifs ou de données d’entraînement externes.
• Un petit nombre de frames clés suffit pour couvrir une séquence, réduisant ainsi le dessin frame par frame.
• Idéal pour l’animation manuscrite, le retouche d’images, la colorisation et les expérimentations vidéo, entre autres utilisations.
• Les keyframes transparents et la méthode de pistes séparées facilitent le retouche localisé.
• La version gratuite comprend les fonctionnalités de base et permet d’exporter des vidéos en 720p.
• Pro propose 4K, des séquences PNG et un traitement prioritaire.
• Studio prend en charge l’automatisation complètement hors ligne et via la ligne de commande.

Restrictions d'utilisation et précautions

• La qualité du résultat dépend fortement de l’alignement des cadres clés avec le contour de la vidéo d’origine.
• Les mouvements rapides, le flou, les obstructions et les fortes variations de lumière peuvent facilement provoquer des artefacts.
• Une prise de vue longue nécessite généralement plusieurs frames clés et de nombreuses corrections manuelles.
• Le navigateur consomme plus de mémoire et de ressources graphiques pour gérer des éléments longs en haute résolution.
• Free et Pro téléchargent temporairement des vidéos et des frames clés sur le serveur.
• La version gratuite ne exporte que en MP4 720p et ne propose pas de séquence PNG.
• Les frames clés de l’IA peuvent présenter des erreurs structurelles et entraîner des exigences de licence supplémentaires.
• Le service est fourni tel quel, sans garantie de disponibilité absolue ni d’absence d’erreurs.

Performance et recommandations pour les navigateurs

• La version desktop de Chrome est recommandée officiellement pour gérer des projets de grande taille et à haute résolution.
• L’ordinateur portable doit confirmer que le navigateur utilise une carte graphique indépendante plutôt qu’une carte à faible consommation d’énergie.
• Fermez les onglets inutiles pour libérer de la mémoire et de la mémoire vidéo pour la synthèse.
• D’abord, réduisez la résolution pour créer un test, puis rendez avec les spécifications finales.
• Les vidéos longues sont divisées par plan pour réduire les traitements répétitifs en cas d’échec.
• Conservez des sauvegardes des frames clés, de la vidéo source et de la version du projet avant le rendu.

Statut officiel GitHub et open source

Ondřej Jamriška, créateur d’EbSynth, a mis en ligne sur GitHub des implémentations expérimentales précoces d’ebsynth, comprenant du code source, des scripts de build et des exemples. Ce dépôt ne mentionne pas de licence open source standard, et la dernière mise à jour du code remonte à avant l’application web commerciale actuelle.

Les conditions d’utilisation actuelles d’EbSynth stipulent clairement qu’il s’agit de logiciel propriétaire et interdisent le reverse engineering. Par conséquent, le code public historique ne peut pas être assimilé à l’open source complet des produits Free, Pro ou Studio actuels.

Différences entre la version ancienne et la version actuelle

Informations de base

Indice de recommandation

4,5 / 5. EbSynth permet aux artistes de contrôler le style de toute une vidéo à l’aide d’un petit nombre de keyframes, offrant ainsi une grande liberté créative ; cependant, les mouvements complexes nécessitent encore de nombreuses corrections manuelles, la version cloud présente des limites de téléchargement, et l’export en 4K ainsi que les séquences requièrent un paiement.

Questions fréquentes

Peut-on utiliser EbSynth gratuitement ?

Oui. La version gratuite n’a pas de limite de temps ni de fonctionnalités essentielles, elle permet d’exporter en MP4 720p, mais le 4K, les séquences PNG et le traitement prioritaire nécessitent Pro.

Les fonctionnalités principales d’EbSynth utilisent-elles l’IA ?

La propagation des frames clés ne fait pas appel à l’IA générative, mais à des algorithmes de synthèse de textures. Seule la fonction optionnelle « Générer une image » utilise SDXL 1.0.

Les fichiers du projet seront-ils téléchargés ?

Les versions Free et Pro téléchargent temporairement des vidéos et des frames clés pour effectuer le rendu, et selon le fournisseur, les résultats sont supprimés immédiatement après leur retour. Pour ne pas télécharger du tout, il faut la version offline de Studio.

EbSynth prend-il en charge 4K ?

Pro prend en charge une résolution de rendu allant jusqu’à 4K et une sortie en séquence PNG, tandis que la version gratuite est limitée à 720p en MP4.

Est-il possible d’annuler l’abonnement Pro ?

Il est possible de se désinscrire dans la section Gestion des abonnements du menu utilisateur ; les avantages restent valables jusqu’à la fin de la période en cours, et les frais payés ne sont pas remboursables conformément aux conditions.

EbSynth est-il open source ?

Le produit commercial actuel est un logiciel propriétaire. Les recherches initiales présentaient du code ouvert, mais les dépôts ne disposaient pas de licence open source claire, ce qui ne peut être assimilé à l’open source des services actuels.