DreamAI

Was ist also DreamAI?

Jimeng AI ist eine von Douyin betriebene Plattform für die Erstellung von AI-Bildern und Videos. Sie wird von der Shenzhen FaceMong Technology Co., Ltd. betrieben. Aus frühen Tools zur Erstellung von Bildern aus Texten sowie von Videos aus Bildern hat sich diese Plattform zu einer umfassenden „AI-Produktionsstätte“ entwickelt – mit Funktionen wie Inspirationssuche, Erstellung und Bearbeitung von Bildern, Erstellung von Videos, intelligenter Mehrfachbildverarbeitung, visualisierbaren Arbeitsflächen, kreativen Assistenten, Einsatz von Digital-Persönlichkeiten, Gemeinschaftsgeteilung sowie Möglichkeit zur Nachahmung bestehender Inhalte.

Ordentliche Kreativkräfte können es direkt über das Web oder eine App nutzen, während Unternehmen und Entwickler Seedance, Seedream und andere Modelle über Volcano Engine aufrufen können.

Stand der Überprüfung bietet die App „Ji Meng“ bereits Seedance 2.5 – mit der Möglichkeit, Videos von bis zu 30 Sekunden Länge direkt zu erstellen. Zudem sind Funktionen wie Seedance 2.0 Fast, mehrmodale Referenzen sowie Picture 5.0 und Picture 4.6 verfügbar.

Der Name des Endnutzer-Modells für Träume wird manchmal als „Video 2.5“ oder „Bild 5.0“ angegeben; er kann sich von den Modellbezeichnungen und den Verfügbarkeitszeiten der Vulkan-Arche-API unterscheiden.

Kernfunktionen

• Seedance 2.5-Video:Die neue Version ermöglicht die direkte Erstellung von Videos mit einer Länge von bis zu 30 Sekunden – ideal für kurze Geschichten, Werbeclips und Sequenzen mit kontinuierlichen Bewegungen. Die verfügbaren Optionen, die Auflösung sowie die Einschränkungen bezüglich der verwendbaren Materialien richten sich nach den Anforderungen der jeweiligen Seite.
• Seedance 2.0 – Multimodales Referenzmodell:Man kann Texte, Bilder, Videos und Audiodateien miteinander kombinieren, um neue Videos zu erstellen – unter Berücksichtigung der Komposition des Bildes, der Details der Charaktere, der Bewegungen, der Kamerabewegungen sowie des Rhythmus und der Atmosphäre.
• Mehrfachmaterialsteuerung:Laut den offiziellen Angaben zu Seedance 2.0 können bis zu 9 Bilder, 3 Videos sowie 3 MP3-Audio-Dateien verwendet werden. Die Gesamtlänge der Videos und Audiodateien darf jeweils 15 Sekunden nicht überschreiten. Insgesamt können bis zu 12 Dateien eingegeben werden; die resultinge Videolänge beträgt maximal 15 Sekunden.
• Fortsetzungsfilmaufnahmen und -montage:Es ist möglich, vorhandene Videos zu verlängern, aufeinanderfolgende Szenen miteinander zu verbinden sowie Charaktere oder Elemente im Video zu ersetzen, zu löschen oder hinzuzufügen. Komplexe Änderungen können jedoch weiterhin die Konsistenz von Hintergrund und Figuren beeinträchtigen.
• Intelligente Mehrfachaufnahmen:Verwendung mehrerer Schlüsselframes oder Videoabschnitte zur Erstellung eines „One-Shot-Videos“. Unterstützt die Kombination von Videos mit Videos sowie Videos mit Bildern, die Bearbeitung von Teilabschnitten, den Modus nur mit Endframes sowie harte Schnitte.
• Bild 5.0:Basierend auf Seedream 5.0 Lite ermöglicht es die Suche im Internet, logisches Denken sowie die Erstellung von Texten und bildbasierten Inhalten. Damit können Plakate, Social-Media-Cover, Wissensgraphen, UIs sowie Infografiken erstellt werden.
• Bilder erstellen und bearbeiten:Es unterstützt Bildgenerierung aus Text, Bildgenerierung anhand von Referenzbildern, die Kombination mehrerer Bilder, lokale Änderungen und Ergänzungen, Bildvergrößerung, Stilübertragung sowie die Erstellung von Bildgruppen. Es kann für Charakterentwicklung, Storyboards, Produktvisualisierungen und Markenmaterialien verwendet werden.
• Leinwand und Agent:In dem Visualisierungs-Bildschirm können mehrere Bilder und Video-Dateien verwaltet werden. Über das Ticket-System können Erstellungstools aufgerufen werden. Der Agent bietet Unterstützung bei der Suche nach Ideen sowie bei der kreativen Gestaltung. Durch Dialoge wird die Aufgabe verstanden und das Ergebnis strukturiert.
• Aufnehmen in Begleitung von Freunden:Nachdem der Nutzer sein eigenes Bild und seine Stimme aufgenommen hat und die Überprüfung abgeschlossen ist, kann er ein digitales Double erstellen, dem Freunden gestattet wird, es in gemeinsam erstellten Inhalten zu verwenden. Es handelt sich dabei nicht um ein Werkzeug zur Ersetzung des Gesichts ohne Zustimmung des Besitzers.
• Video 3.5 Pro:Basierend auf Seedance 1.5 Pro ermöglicht es die gleichzeitige Erstellung von Audio- und Videoinhalten. Es ist möglich, die Lippenbewegungen der Personen, die Klänge von Musikinstrumenten sowie Umgebungsgeräusche zu synchronisieren. Zudem werden die Aussprache sowie Mikroexpressionen in Chinesisch, Kantonesisch, Sichuan-Dialekt usw. verbessert.
• Gemeinschaft und das Gleiche tun:Browsen Sie die Werke anderer Benutzer, sehen Sie sich die öffentlichen Prompte an und wenden Sie sie mit einem Klick direkt an – anschließend können Sie sie an Ihre eigenen Kreationen anpassen. Die Werke können lokal gespeichert oder per Link geteilt werden.

Mitgliedspreise und Punktpreise

Ji Meng bietet kostenlose Probephasen, Mitgliedsabos sowie die Möglichkeit, Punkte aufzuladen. Verschiedene Bilder, Videoformate, Dauer, Auflösung sowie der Normal- oder Express-Modus verbrauchen unterschiedliche Anzahl an Punkten. Die Regeln bezüglich fehlgeschlagener Generierungen, Überprüfungen, Warteschlangen und Rückerstattungen von Punkten gelten entsprechend der Beschreibung auf der Aufgabenseite.

Mitglieder erhalten monatlich Punkte, eine Verlängerung der Video-Länge sowie die Möglichkeit, Wasserzeichen zu entfernen – dies bedeutet jedoch nicht, dass alle Modelle unbegrenzt genutzt werden können.

Offizielle Anleitung zur automatischen Verlängerung: Die derzeit aufgelisteten Basismitgliedschaften sind:

• Monatliche Abonnementgebühr: 69 Yuan/Monat;
• Kontinuierliches Jahresabonnement: 659 Yuan/Jahr;
• Nach der Aktivierung erhalten Sie monatlich Mitgliedspunkte und können so Vorteile wie verlängerte Video-Länge oder Entfernung von Wasserzeichen nutzen.

Der App Store in China listet außerdem Mitgliedschaften bei Jimeng für 79 Yuan, das verbesserte Pro-Monatsabo für 199 Yuan sowie Aufladungsmöglichkeiten mit Punkten zu 50 Yuan, 75 Yuan, 150 Yuan usw. Auf der Seite sind historische Produkte mit ungewöhnlich hohen Preisen, die als „veraltet“ gekennzeichnet sind, nicht als aktuelle Verkaufspreise anzusehen.

Die Punkte für die verschiedenen Mitgliedsstufen, die schnelle Erstellung von VIP-Statusen, die Auflösung sowie die Rechte bezüglich der Warteschlangen und Modelle unterscheiden sich. Vor dem Kauf sollten die aktuellen Vorteile überprüft werden. Man sollte nicht auf die Angaben in alten Anleitungen bezüglich „kostenloser Punkte pro Tag“ oder auf frühere Abzüge schließen, um die aktuellen Kosten zu ermitteln.

Bei einer wiederkehrenden Abonnementierung wird 24 Stunden vor Ablauf automatisch abgebucht. Um das Abonnement zu kündigen, muss man mindestens 24 Stunden im Voraus über die Verwaltungsfunktionen des Apple-Kontos vorgehen. Punkte haben in der Regel eine bestimmte Verwendbarkeit und Gültigkeitsdauer. Ob Mitgliedschaften, bei Aktionen gewährte Punkte oder gekaufte Punkte übertragen werden, hängt von den Angaben im Kontoinformationen ab.

Vulkan Ark API und Unternehmenspreise

Unternehmen und Entwickler können über Volcano Ark die Seedance-Videos sowie Seedream-Bildmodelle nutzen. Mitglieder von Jidream verfügen nicht über einen Guthabenrahmen für die Ark-API; die Rechte und Abrechnungsmodalitäten beider Accounts sind getrennt.

Die Video-API verwendet einen asynchronen Task-Ansatz, während die Bild-API nach den Anforderungen sowie den Ausgabe-Eigenschaften abgerechnet wird. Verschiedene Modelle können mit Tokens, der Anzahl der Bilder, der Länge des Videos oder Ressourcenpaketen abgerechnet werden.

Das offizielle Paket für Seedance 2.0 umfasst: Das leichte Kreativpaket mit 7 Millionen Token für 196 Yuan – damit lassen sich etwa 28 Videos in 480P-Qualität erstellen; das umfassende Premiumpaket mit 10 Millionen Token für 280 Yuan – damit lassen sich etwa 40 Videos in 480P-Qualität erstellen.

Effizientes Massenproduktionspaket mit 13 Millionen Token für 364 Yuan – das entspricht etwa 52 Videos in 480P-Qualität. Die Gültigkeitsdauer des Pakets beträgt 90 Tage. Es ist nur für Doubao-Seedance-2.0 geeignet und beinhaltet weder Fast- noch Mini-Versionen. Es unterstützt Videos in den Qualitäten 480P, 720P, 1080P sowie Videos mit einer Dauer von 4 bis 15 Sekunden.

Die geschätzte Anzahl der generierten Einheiten basiert auf den Spezifikationen von 480P. Für 720P, 1080P, mehrmodale Eingaben sowie längere Zeiträume werden mehr Token benötigt – daher kann man dies nicht mit einer festen Anzahl von 28 Einheiten vergleichen. Die Ressourpakete sind in der Regel nicht erstattungsfähig, sobald sie verwendet wurden.

Ob Seedance 2.5 sowie das VIP-Modell für Endkunden von Jimeng APIs anbieten, welche Preise gelten und in welchen Regionen dies möglich ist, hängt von dem aktuellen Status der Liste der Ark-Modelle ab.

Open-Source-Zustand

Die Websites und Apps von Jimeng AI, Seedance 2.5/2.0, Seedream 5.0 Lite sowie die vollständige Kreativplattform sind keine Open-Source-Produkte. Die Gewichte der Modelle sowie die Trainingsdaten werden von Jimeng nicht öffentlich zur lokalen Nutzung durch Nutzer bereitgestellt.

ByteDance hat auf GitHub Forschungs- oder Entwicklungsprojekte wie DreamID-V, OneReward, FlowGram usw. veröffentlicht, die möglicherweise Forschungsergebnisse basierend auf Seedance oder Seedream zeigen, stellen aber keine Veröffentlichung der Gewichte der Endnutzermodelle dar.

Daher sollte das Verzeichnis „Immediate Dream“ als proprietäres Cloud-Dienstleistung kennzeichnen. Offizielle Paper, Methodencode, Workflow-Frameworks und Produktmodelle müssen getrennt überprüft werden;

Auch wenn ein Forschungslager eine Open-Source-Lizenz verwendet, lässt sich daraus nicht schließen, dass Seedance und Seedream kostenlos für kommerzielle Zwecke oder offline genutzt werden können.

Unterstützungsplattformen

Jimeng bietet eine Web- sowie eine Mobile-App an. Im chinesischen App Store wird die App derzeit als ausschließlich für iPhone gekennzeichnet, erfordert iOS 15.0 oder neuer und unterstützt Chinesisch (vereinfacht) sowie Englisch.

Die Webversion eignet sich besser für Leinwände, die Verwaltung mehrerer Vermögenswerte sowie feine Bearbeitungen. Die App konzentriert sich hingegen auf das sofortige Erstellen von Inhalten, die Nutzung der Community, das Aufnehmen von Videos sowie das Zusammenarbeiten mit Freunden. Modelle und Aktionen werden in der Regel in Chargen veröffentlicht, wodurch die Funktionen im Web und auf dem Handy nicht immer vollständig synchron sind.

Anleitung zur Nutzung von DreamAI

Eine grundlegende Aufgabe erledigen

1. Bestimmen Sie das Publikum, die Plattform, das Format, die Dauer sowie die Informationen, die übermittelt werden müssen;
2. In Immediate Dream AI Skripte, Aufnahmen oder lizenzierbares Referenzmaterial vorbereiten;
3. Wählen Sie das Seedance 2.5-Video aus und erstellen Sie eine preisgünstige Vorschau;
4. Verwenden Sie Seedance 2.0 mit multimodalen Referenzen, um Bild, Rhythmus, Untertitel und Ton anzupassen;
5. Jedes Frame wird auf Personen, Texte, Logos, Mundbewegungen und die Richtigkeit der Fakten überprüft;
6. Nach der Bestätigung der Lizenzen für Musik, Porträts und Materialien wird die Datei in der gewünschten Formatierung exportiert;

Erstellung wiederverwendbarer professioneller Workflows

1. Erstellung von Skripten, Drehbüchern, Markenmaterialien und einer Liste der zu verbietenden Elemente;
2. Einheitliche Parameter für das Seedance 2.5-Video, die Seedance 2.0-multimodalen Referenzen sowie die Steuerung mehrerer Materialien speichern;
3. Zuerst werden das Modell und die Obergrenze mit repräsentativen Aufnahmen getestet;
4. Fehlerhafte Aufnahmen in eine manuelle Bearbeitung überführen oder neu erstellen;
5. Einheitliche Untertitel, Lautstärke, Farben und Abspann-Copyright-Informationen;
6. Erst nach Erfassung der Version und des Prüfers in Batch veröffentlichen;

Für welche Benutzer geeignet

• Kreative, die Kurzvideos, AI-Comics, Werbung, Materialien für den E-Commerce sowie Storyboards erstellen;
• Es werden Designer für Plakate, Social-Media-Cover, Markenvisualisierungen, UI sowie Wissensgraphen gesucht;
• Normale Nutzer, die hoffen, mit ihrer eigenen digitalen Avatare oder mit avataren, die von Freunden autorisiert wurden, Fotos machen zu können;
• Ein professionelles Video-Team, das multimodale Referenzen, Fortsetzungen von Videos sowie lokale Bearbeitungen benötigt;
• Unternehmensentwickler, die Seedance und Seedream in großen Mengen über das Vulkan-Arche-Tool aufrufen.

Einsatzbeschränkungen und Sicherheit

• Bei KI-generierten Bildern und Videos sind mehrere Versuche nötig. Komplexe Bewegungen, Hände, die Identität der Personen, Texte, physikalische Beziehungen, Lippenbewegungen sowie die Kontinuität bei Langzeitaufnahmen können weiterhin Fehler aufweisen.
• Der Express-Modus beeinflusst nur die Warteschlangen- oder Erstellungsstrategie und garantiert keine besseren Ergebnisse.
• Für offizielle Projekte sollte ein Budget für die Neugenerierung vorgesehen werden, und in der Bearbeitungssoftware sollen Untertitel, Soundeffekte, Farbkorrekturen sowie Fehlerbehebungen durchgeführt werden.
• Die Funktion der Live-Übertragung erfordert eine Identitätsüberprüfung und Autorisierung.
• Der Eingang für herkömmliche Materialien in Seedance2.0 beschränkt sich derzeit darauf, dass Fotos oder Videos mit echten Personen nicht direkt als Referenz verwendet werden dürfen. Die Nutzer sollten stattdessen zuverlässige Materialien oder eigene Avatare verwenden.
• Es ist verboten, die Äußerungen anderer zu fälschen, sich als Persönlichkeiten der Öffentlichkeit auszugeben oder unerlaubte pornografische oder betrügerische Inhalte zu erstellen.
• Die Genehmigung durch den Freund sollte den Umfang der Werke klar definieren und es dem anderen ermöglichen, die Rechte an den Darstellungen zu verwalten oder zurückzuziehen.
• Die Datenschutzerklärung der App gibt an, dass Kaufaufzeichnungen, Telefonnummern, Fotos und Videos, Aufrufhistorien, Geräteidentifikatoren sowie Daten zu Produktinteraktionen und Diagnosen erfasst werden können;
• Bevor Kundenmaterialien, unveröffentlichte Werbeanzeigen, Kinderbilder und Unternehmensdokumente hochgeladen werden, sollten die Genehmigungs- und Datenschutzrichtlinien überprüft werden.
• Für eine kommerzielle Veröffentlichung müssen außerdem die Rechte an Porträts, Musik, Markenzeichen, Schriftarten sowie Referenzwerken überprüft werden, und es müssen die Anforderungen bezüglich der Kennzeichnung von durch KI erzeugtem Inhalt eingehalten werden.

Häufige Fragen

Ist DreamAI kostenlos?

Einige Funktionen können kostenlos installiert und ausprobiert werden. Für fortgeschrittene Modelle, Express-Optionen sowie einen hohen Nutzungsumfang sind ein Abo oder Punkte erforderlich. Das Basis-Abo kostet 69 Yuan pro Monat bzw. 659 Yuan im Jahr.

Wie lang kann ein Video mit DreamAI maximal sein?

Die aktuelle App-Version ermöglicht es mit Seedance 2.5, Videos mit einer Länge von bis zu 30 Sekunden direkt zu erstellen; im Mehrmodus von Seedance 2.0 liegt die übliche Obergrenze bei 15 Sekunden, abhängig vom Modell und der Eingabemethode.

Unterstützt DreamAI die Teilnahme von echten Personen?

Es wird die eigene Aufnahme, die Überprüfung durch eine echte Person sowie digitale Avatare unterstützt. Zudem ist es nach Genehmigung möglich, mit Freunden gemeinsam Fotos zu machen. Der Zugang zu den allgemeinen Referenzmaterialien weist Sicherheitsbeschränkungen für echte Fotos und Videos auf.

Enthält das Dream-Mitgliedschaftspaket die Vulkan-Arche-API?

Nicht enthalten. Das bedeutet, dass die Mitgliedspunkte für den Endkunden sowie die API von Volcano Ark zwei separate Abrechnungssysteme sind. Unternehmen müssen diese Funktionen separat aktivieren und entsprechende Ressourpakete erwerben oder nach Verbrauch bezahlen.

Ist DreamAI open source?

Keine Offenlegung des Quellcodes. Die von ByteDance veröffentlichten Forschungs- und Entwicklungsarchive sind nicht identisch mit den Gewichten der Seedance- und Seedream-Modelle oder dem Quellcode der Jimeng-Plattform.