EBsynth

Was ist EbSynth?

EbSynth ist ein von Secret Weapons entwickeltes Tool zur Übertragung von Video-Stilen und visuellen Effekten. Es wurde von Šárka Sochorová und Ondřej Jamriška geschaffen. Der Benutzer muss lediglich einen oder wenige Schlüsselframes im Video ändern – das Programm überträgt anschließend die Texturen und visuellen Veränderungen auf die angrenzenden Bilder.

Es wird häufig zur Umwandlung von Videos in handgezeichnete Animationen, zur lokalen Bearbeitung von Bildern, zum digitalen Schminken, zur Farbanpassung von alten Filmen sowie zur Übertragung von Bildinhalten verwendet. Die offizielle Website ist hauptsächlich über einen Desktop-Browser zugänglich; auf der Mobilversion wird darauf hingewiesen, dass ein Computer erforderlich ist.

Ist EbSynth eine generative KI?

Die Kernfunktion zur Übertragung von Schlüsselbildern bei EbSynth nutzt keine generativen KI-Methoden und ist auch nicht von externen Trainingsdaten abhängig. Stattdessen verwendet sie beispielgesteuerte, nicht-parametrische Methoden zur Texturgenerierung sowie Lichtstromanalysen, um auf der Grundlage des Videos des Benutzers sowie der Ergebnisse der Schlüsselbildberechnung zu arbeiten.

Die Plattform bietet außerdem die optionale Funktion „Generate Image“, mit der Schlüsselbilder unter Verwendung von SDXL 1.0 erstellt werden können. Bei der Verwendung dieser Funktion müssen sowohl die Erstellung der Schlüsselbilder als auch die Erstellung des endgültigen Videos den entsprechenden Lizenzbedingungen des Modells entsprechen.

Kernfunktionen

Verbreitung im Keyframe-Stil

Nachdem der Benutzer einen Schlüsselbildschirm gezeichnet oder verändert hat, überträgt EbSynth seine Farbe, den Strichstil sowie die Textur auf die anderen Bildschirme des Videos. Wenn die Bewegung über einen größeren Bereich erstreckt wird, kann man weitere Schlüsselbildschirme hinzufügen, um die fehlerhaften Bereiche zu korrigieren.

Video-Handzeichnungsanimation

Künstler können in Zeichensoftware repräsentative Szenen neu zeichnen, wobei EbSynth einen kontinuierlichen Stil erzeugt. Dadurch wird die Arbeit des Nachzeichnens von Frame für Frame reduziert, doch wichtige Posen und komplexe Bewegungen erfordern weiterhin manuelle Steuerung.

Bildbearbeitung und digitales Make-up

Die Benutzer können an den Schlüsselbildern die Hautfarbe, die Kleidung, die Requisiten oder die Hintergrunddetails ändern und diese Änderungen auf die Kamera übertragen. Verdeckungen, schnelle Drehungen sowie starke Lichtveränderungen können zu Dehnungen oder Flackern führen.

Farbabstimmung und Farbanpassung

EbSynth kann die Farbgebung eines einzelnen Frames auf Schwarz-Weiß- oder Videos mit geringer Sättigung erweitern. Für stabile Ergebnisse sind klare Texturen, sanftes Licht sowie eine ausreichend hohe Framerate erforderlich.

Workflow für transparente Ebenen

Schlüsselframes können einen transparenten Hintergrund haben und enthalten nur die Elemente, die übertragen werden sollen. Bereiche mit unabhängiger Bewegung wie Augen, Gesichter und Hintergrund können in separate Spuren aufgeteilt werden, um sie separat zu verarbeiten.

Erstellung von Schlüsselbildern mit KI

„Generate Image“ kann anhand der Eingaben Stil-Keyframes erzeugen. Pro-Konto beinhaltet derzeit 100 Freigaben für generierte Bilder. Wenn bei den AI-Ergebnissen Fehler in Form von Fingern, Rändern oder Strukturen auftreten, empfiehlt es sich offiziell, zunächst mit dem Pinsel zu korrigieren und anschließend mit geringerer Intensität erneut zu versuchen.

Übersicht der Hauptfunktionen

• Den visuellen Stil eines oder weniger Schlüsselframes auf das gesamte Video übertragen.
• Umwandlung von Live-Aufführungen in Zeichnungen, Ölgemälde oder andere künstlerische Animationen.
• Lokale Bearbeitung von Videos, digitales Make-up und Ersetzung von Elementen.
• Farben für Schwarz-Weiß-Aufnahmen hinzufügen oder den Farbstil des gesamten Videos vereinheitlichen.
• Verwenden Sie transparente Schlüsselframes, um Augen, Gesicht und Hintergrund getrennt zu bearbeiten.
• Durch das Hinzufügen von Schlüsselbildern werden Verdeckungen, Drehungen und Bewegungsfehler korrigiert.
• Optional kann SDXL zur Erstellung von Skizzen der Schlüsselframes verwendet werden.
• Kostenlose Exportierung in 720p MP4, Pro unterstützt 4K und PNG-Sequenzen.
• Studio bietet vollständige Offline-Verarbeitung und Automatisierung über die Kommandozeile.

Für welche Anwendungsszenarien geeignet

• Der Animator wandelt Videoaufnahmen von echten Menschen in handgezeichnete Animationen um.
• Kurzvideo-Ersteller entwickeln einen einheitlichen Stil für Zeichnungen und Comics.
• Die VFX-Mitarbeiter testen schnell Make-up, Kostüme und lokale visuelle Anpassungen.
• Farben in alten Videos korrigieren oder schwarz-weiße Materialien farblich aufwerten.
• Unabhängige Filmteams produzieren experimentelle Szenen und Konzeptprüfungen.
• Künstler erkunden mit einer kleinen Anzahl von Schlüsselframes verschiedene visuelle Richtungen.
• Das Studio führt über die Offline-Befehlszeile batchbasiert feste Prozesse aus.
• Benutzer werden in den Konzepten von Schlüsselbildern, Lichtstrom und Texturverbreitung unterrichtet.

Für welche Situationen es nicht geeignet ist

• Ein vollständig automatisierter Workflow zur Umwandlung von Langfilmen in flimmerfreie Videodateien.
• Benutzer ohne klare Anleitungsvideos oder ohne Möglichkeit, Schlüsselframes zu erstellen.
• Material mit Bewegungsunschärfe, starken Verdeckungen und sehr häufigen Kamerawechseln.
• Spezialeffekte, die dreidimensionale Geometrie, echte Tiefe und physikalische Konsistenz erfordern.
• Kreative, die von der Mobilversion die gesamte Bearbeitung und Darstellung verlangen.
• Kostenlose oder Pro-Nutzer können Materialien nicht vorübergehend in die Cloud hochladen, um sie dort verarbeiten zu lassen.
• Teams, die offene Quellcodes benötigen und aktuelle kommerzielle Anwendungen frei anpassen können.

Grundlegende Anleitung zur Herstellung

1. Wählen Sie kurze Aufnahmen von einigen Sekunden Länge aus und geben Sie Vorrang an Material, das klar, stabil ist und nur wenig Bewegungsunschärfe aufweist.
2. Wählen Sie als ersten Schlüsselbild ein repräsentatives Frame aus, der die vollständige Haltung und Textur des Hauptobjekts zeigt.
3. Bearbeiten Sie die Schlüsselframes in einer Zeichnungs- oder Bildbearbeitungssoftware und halten Sie die Konturen im Einklang mit dem ursprünglichen Video.
4. Führen Sie das Anleitungsvideo und die Schlüsselframes in EbSynth ein und legen Sie die entsprechenden Zeiten für die Schlüsselframes fest.
5. Führen Sie die Verbreitung aus und prüfen Sie die Ergebnisse; markieren Sie Fehler durch Flackern, Dehnen und Verdeckung.
6. Erstellen Sie neue Schlüsselframes an den Stellen, an denen der Fehler am offensichtlichsten ist, um ihn zu korrigieren.
7. Wiederholte Übertragung und Überprüfung, um Stabilität zu bestätigen, bevor das endgültige Video exportiert wird.

Mehrere Schritte zur Optimierung von Schlüsselbildern

1. Erstelle zunächst eine erste Version mit einem Schlüsselbild – zeichne nicht von Anfang an zu viele Bilder.
2. Finden Sie die Stelle im bereits synthetisierten Ergebnis, an der zuerst eine deutliche Zerstörung auftritt.
3. Auf dieser Ebene werden Augen, Ränder, Texturen sowie Verdeckungsbeziehungen korrigiert.
4. Fügen Sie das reparierte Bild als neuen Schlüsselbildpunkt der Zeitlinie hinzu.
5. Wenn die Bewegungen des Hintergrunds, des Gesichts und der Augen nicht synchron sind, werden sie in separate Spuren aufgeteilt.
6. Jede Spur wird separat komponiert und anschließend im Schnittprogramm übereinandergelegt.
7. Überprüfen Sie die Übergänge zwischen den Schlüsselbildern, um plötzliche Stilwechsel zu vermeiden.

Empfehlungen für Videoanleitungen zur Filmarbeit

• Verwenden Sie ein sanftes und gleichmäßiges Licht, um starke Schatten zu verringern.
• Wählen Sie Kleidung und Gegenstände mit nachvollziehbaren Mustern aus.
• Vermeiden Sie große Reflexionen, einfarbige Farben sowie schnell wechselnde Highlights.
• Schnelle Bewegungen nutzen eine höhere Bildfrequenz, um Bewegungsunschärfe zu verringern.
• Bewahren Sie möglichst die Integrität des Hauptobjekts bei und reduzieren Sie lange Verdeckungen sowie das Herausfallen aus dem Bild.
• Der Wechsel der Kameraeinstellungen erfolgt in getrennten Abschnitten und erfolgt nicht über Schnittpunkte hinweg.
• Zuerst werden kurze Abschnitte getestet, anschließend wird mit der Erstellung der Schlüsselframes für die längeren Sequenzen begonnen.

Empfehlungen zur Erstellung von Schlüsselbildern

• Wählen Sie Frames mit vollständigem Inhalt und klarer Pose statt der am schnellsten bewegten mittleren Frames.
• Der bearbeitete Umriss muss so weit wie möglich der Form des ursprünglichen Videos entsprechen.
• Übermäßige Veränderungen der Gesichtszüge und der Körperteile können zu Wellen und Dehnungen führen.
• Transparenz-Hintergrund-Kadrier werden nur verwendet, um lokale Änderungen vorzunehmen.
• Die Trennung der verschiedenen Bewegungsbereiche kann eine gegenseitige Verunreinigung verringern.
• Die von KI erzeugten Schlüsselbilder müssen manuell in ihrer Struktur und an ihren Rändern korrigiert werden, bevor sie weitergegeben werden.
• Die ursprünglichen Schlüsselframes und Versionen werden beibehalten, um ein Zurückkehren und Vergleichen zu erleichtern.

Vergleich von Paketen und Preisen

Im Folgenden finden Sie die auf der offiziellen Website zur Überprüfung veröffentlichten Optionen. Die Pro-Kosten beinhalten nicht eventuell anfallende Verkaufssteuern oder Mehrwertsteuer; für Studio-Optionen muss man sich an den Anbieter wenden, um einen Kostenvoranschlag aufgrund der Anforderungen an die Offline-Einsatzmöglichkeiten und Unterstützung zu erhalten.

Laut der offiziellen Website gibt es bei der kostenlosen Version keine Einschränkungen hinsichtlich Zeit und Kernfunktionen, doch es bestehen Unterschiede in der Exportauflösung, dem Ausgabeformat sowie bei den fortgeschrittenen Funktionen. Die Preise können sich ändern; Abonnements- und Steuerkosten richten sich nach der Zahlelseite.

Wie wählt man die Version aus

• Für Lernen, Tests mit Kurzvideos und fertige 720p-Videos kann man zunächst Free nutzen.
• Wählen Sie Pro, wenn eine 4K-Übertragung, eine PNG-Sequenz und weitere AI-Kлючframes benötigt werden.
• Bei der Verarbeitung von vertraulichen oder nicht veröffentlichten Film- und Videomaterialien sollte Studio vorrangig berücksichtigt werden.
• Studios, die batchbasierte Rendering und Pipeline-Integration benötigen, wählen die Befehlszeilen-Lösung.
• Wenn man gelegentlich ein Projekt erstellt, sollte man zunächst prüfen, ob die monatliche Abonnementgebühr innerhalb des jeweiligen Zeitraums bezahlt werden kann.
• Testen Sie vor dem Kauf von Pro die kostenlose Version, um herauszufinden, ob sie sich für die Texturverbreitung eignet.

Abonnement, Kündigung und Rückerstattung

• Für den Monatsabonnement kann eine zusätzliche Gebühr sowie Steuern anfallen.
• Man kann über das Benutzermenü in der oberen rechten Ecke auf „Manage Subscription“ gehen, um die Abonnementierung zu kündigen.
• Nach Stornierung bleiben die Rechte bis zum Ende des aktuellen Abrechnungszyklus bestehen.
• Nach Ablauf der Periode kehrt das Konto automatisch zur kostenlosen Version zurück.
• Laut den offiziellen Bedingungen werden bereits gezahlte Gebühren nicht rückerstattet.
• Preisänderungen treten bei bestehenden Abonnements in der Regel im nächsten Vertragszyklus oder 30 Tage nach der Benachrichtigung in Kraft.
• Vor großangelegten oder gruppenbezogenen Einkäufen sollte man bei den Verantwortlichen die Bedingungen des Studios sowie den Umfang der Unterstützung klären.

Cloud-basierte Verarbeitung und Offline-Version von Studio

Die Projektdateien der Versionen Free und Pro bleiben auf der lokalen Plattform gespeichert, während Videos und Schlüsselframes vorübergehend auf den Server hochgeladen werden, um die Bearbeitung durchzuführen. Laut den Herstellern werden die eingegebenen Daten unmittelbar nach Übermittlung an den Browser gelöscht – die Dateien werden weder geteilt noch für interne Zwecke oder zur KI-Training genutzt.

Studio läuft in der lokalen Umgebung vollständig offline und bietet Automatisierung über die Kommandozeile sowie spezielle Unterstützung. Für vertrauliche Aufnahmen, Kundenmaterialien sowie Unternehmensprozesse erfüllt Studio die Anforderungen an Datengrenzen besser als Cloud-Lösungen.

Urheberrecht und kommerzielle Nutzung

Wenn der Benutzer die Urheberrechte an den Anleitungsvideos und Schlüsselbildern besitzt, besagt die offizielle Vereinbarung, dass der Benutzer das vollständige Urheberrecht am von EbSynth erzeugten Video behält. Secret Weapons beansprucht nicht das Eigentum am von dem Benutzer eingegebenen oder ausgegebenen Material.

• Erteilen Sie vor der Verwendung von Videos, Charakteren, Markenzeichen und Porträts Dritter die notwendigen Genehmigungen.
• Echte digitale Schminktechniken und Kostümwechsel sollten Missverständnisse oder unbefugte Nutzung vermeiden.
• Beim Verwenden selbst erstellter Schlüsselframes werden der Erstellungsprozess und die Lizenzvermerke beibehalten.
• Wenn die Schlüsselframes der KI von SDXL 1.0 erzeugt werden, unterliegt das gesamte Ausgangsvideo den entsprechenden Lizenzen.
• Prüfen Sie vor der kommerziellen Lieferung die Urheberrechte an Schriftarten, Materialien, Musik und Schulungsmaterialien.
• Im Vertrag sind für Kundenprojekte die Formate für das Hochladen, Löschen und die Bereitstellung in der Cloud klar festgelegt.

Vorteile des Produkts

• Künstler haben direkten Zugriff auf die Schlüsselframes, was eine bessere Kontrolle bietet als bei Videos mit reinen Prompten.
• Die Kernkommunikation ist nicht von generativen Modellen oder externen Trainingsdaten abhängig.
• Einige wenige Schlüsselframes reichen aus, um eine Sequenz abzudecken und das Zeichnen von Frame für Frame zu reduzieren.
• Eignet sich für verschiedene Anwendungen wie Handzeichnungsanimationen, Bildbearbeitung, Farbabstimmung und experimentelles Filmen.
• Transparente Schlüsselframes und die Spurenunterteilungsmethode erleichtern die präzise Nachbearbeitung.
• Die kostenlose Version enthält die Kernfunktionen und ermöglicht die Exportierung von 720p-Videos.
• Pro bietet 4K, PNG-Sequenzen und Priorisierung.
• Studio unterstützt vollständige Offline-Arbeit sowie Automatisierung über die Kommandozeile.

Einsatzbeschränkungen und Hinweise

• Die Qualität des Ergebnisses hängt stark davon ab, wie gut die Schlüsselframes mit dem Umriss des ursprünglichen Videos übereinstimmen.
• Schnelle Bewegungen, Unschärfe, Verdeckung sowie starke Lichtveränderungen können leicht zu Artefakten führen.
• Lange Takes erfordern in der Regel mehrere Schlüsselframes und umfangreiche manuelle Anpassungen.
• Der Browser verbraucht viel Speicher und Grafikressourcen, um hochauflösende, lange Elemente zu verarbeiten.
• Free und Pro laden vorübergehend Videos und Schlüsselframes auf den Server hoch.
• Die kostenlose Version exportiert nur in 720p MP4 und bietet keine PNG-Sequenzen an.
• Bei KI-Schlüsselbildern können Strukturfehler auftreten, was zusätzliche Lizenzanforderungen mit sich bringt.
• Der Service wird in seinem aktuellen Zustand bereitgestellt; es wird keine Garantie für eine vollständige Unterbrechungsfreiheit oder Fehlerfreiheit gegeben.

Leistung und Browser-Empfehlungen

• Offiziell wird die Desktop-Version von Chrome empfohlen, um große und hochauflösende Projekte zu bearbeiten.
• Das Notebook sollte sicherstellen, dass der Browser eine eigene Grafikkarte verwendet und nicht eine Grafikkarte mit geringem Energieverbrauch.
• Schließen Sie unnötige Tabellen, um Speicher und Grafikspeicher für die Synthese freizumachen.
• Erst wird die Auflösung reduziert, um Tests durchzuführen, anschließend wird mit den endgültigen Spezifikationen gerendert.
• Lange Videos werden in einzelne Aufnahmen aufgeteilt, um wiederholte Bearbeitungen nach Fehlern zu vermeiden.
• Bevor Sie rendern, speichern Sie Backups der Schlüsselframes, des Quellvideos und der Projektversion.

Offizieller GitHub-Status und Open-Source-Status

Der Schöpfer von EbSynth, Ondřej Jamriška, hat frühe Forschungsimplementierungen von ebsynth auf GitHub veröffentlicht – inklusive Quellcode, Build-Skripte und Beispiele. In diesem Repository ist keine Standard-Open-Source-Lizenz angegeben, und das letzte Hochladen des Codes erfolgte bereits vor der Entwicklung der aktuellen kommerziellen Webanwendung.

Die aktuellen Nutzungsbedingungen von EbSynth besagen ausdrücklich, dass es sich um proprietäres Software handelt, und verbieten die Reverse Engineering. Daher kann der frühere öffentliche Code nicht mit den aktuellen freien, Pro- oder Studio-Produkten, die vollständig open source sind, gleichgesetzt werden.

Unterschiede zwischen der alten und der aktuellen Version

Grundlegende Informationen

Empfehlungswert

4,5 / 5. EbSynth ermöglicht es Künstlern, den Stil des gesamten Videos durch eine geringe Anzahl an Schlüsselbildern zu steuern – dies bietet große Freiheit bei der Gestaltung. Komplexe Bewegungen erfordern jedoch weiterhin viele manuelle Anpassungen. Die Cloud-Version hat Upload-Beschränkungen, und 4K- sowie Sequenzexporte sind kostenpflichtig.

Häufige Fragen

Kann EbSynth kostenlos verwendet werden?

Ja. Die kostenlose Version hat keine Einschränkungen hinsichtlich Zeit und Kernfunktionen; es ist möglich, Dateien im Format 720p MP4 zu exportieren. Für 4K-, PNG-Dateien sowie eine bevorzugte Bearbeitung ist jedoch die Pro-Version erforderlich.

Nutzt EbSynth seine Kernfunktionen für KI?

Bei der Übertragung von Schlüsselbildern wird keine generative KI verwendet, sondern Algorithmen zur Texturkomposition. Nur die optionale Funktion „Bild erstellen“ nutzt SDXL 1.0.

Wird die Projektdatei hochgeladen?

Free und Pro laden vorübergehend Videos sowie Schlüsselframes hoch, um die Renderung abzuschließen; laut den Herstellern werden die Ergebnisse unverzüglich nach ihrer Rückgabe gelöscht. Für ein vollständiges Vermeiden des Hochladens ist die Offline-Version von Studio erforderlich.

Unterstützt EbSynth 4K?

Pro unterstützt eine Auflösung von bis zu 4K sowie die Ausgabe in PNG-Sequenzen; die kostenlose Version ist auf 720p MP4 beschränkt.

Kann die Pro-Mitgliedschaft gekündigt werden?

Es kann im Menü „Abonnementsverwaltung“ des Benutzers storniert werden. Die Vorteile bleiben bis zum Ende der aktuellen Periode gültig, und die bereits gezahlten Gebühren werden gemäß den Bedingungen nicht rückerstattet.

Ist EbSynth Open Source?

Die aktuellen kommerziellen Produkte sind proprietäres Software. Frühe Forschungsimplementierungen verfügten über offenen Quellcode, doch die Repositorien enthielten keine klare Open-Source-Lizenz, was sie nicht mit den aktuellen Open-Source-Diensten gleichsetzen lässt.