Vidu

Was ist Vidu?

Vidu ist ein von Beijing Shengshu Technology Co., Ltd. in Zusammenarbeit mit der Tsinghua-Universität entwickeltes AI-Modell zur Erstellung von Videos sowie eine Plattform für die Videoproduktion. Für individuelle Kreative werden Web- und Mobile-Anwendungen bereitgestellt, während Unternehmen und Entwickler über offene APIs verfügen. Nutzer können Videos mithilfe von Texten, einzelnen Bildern, mehreren Referenzbildern, Anfangs- und Endbildern, Videoclips oder dem Originalvideo erstellen und bearbeiten. Zudem ist es möglich, weitere Schritte wie die Erstellung von Audioinhalten, Lip-Sync-Funktionen, digitalen Avataren sowie die Erstellung von Videos in hoher Auflösung durchzuführen.

Stand dieser Überprüfung hat Vidus neuester Hauptweg bereits begonnen.Q3-SerieMan sollte Vidu 2.0 oder Q1 nicht weiter als die neuesten Modelle bezeichnen. Q3 konzentriert sich auf Geschichten und fertige Videos, unterstützt Videoaufnahmen von bis zu 16 Sekunden Länge in 1080P-Auflösung mit 24 Bildern pro Sekunde, synchronisierte Ton- und Bildsignale sowie intelligente Schnitte.

Q2 wird weiterhin in verschiedenen Anwendungen wie Video-Editing, Referenzbildern und Bildgenerierung verwendet, während die alten Modelle Optionen hinsichtlich Kosten oder Stil bieten.

Vidu Q3-Modellreihe

• Vidu Q3 Pro：Für Video-Generierung aus Text, Bildern sowie für Anfangs- und Endframes – unterstützt Zeiträume von 1 bis 16 Sekunden, Auflösungen von 540P bis 1080P, natives Audio sowie intelligente Schnittfunktionen. Geeignet für Inhalte, bei denen Bildqualität, Kameraeinsätze und Erzählweise im Vordergrund stehen.
• Vidu Q3 Turbo：Schnellere Erstellung, niedrigere Stückkosten – abdeckt Text-zu-Bild-, Bild-zu-Bild-, Anfangs- und Endframes sowie Referenzgenerierung; geeignet für Serienproduktion von Entwürfen, Social-Media-Inhalte und kostensensible Aufgaben.
• Vidu Q3 Mix：Für Referenzvideos wird ein Gleichgewicht zwischen Konsistenz, Ästhetik und allgemeinen Szenarien erreicht; es können Inhalte von 3 bis 16 Sekunden Länge anhand von Personen-, Gegenstand- und Stilreferenzen erstellt werden.
• Vidu Q3 Drama：Für Manga und Serieninhalte werden die Positionierung der Charaktere, die Dialoge, die Animationseffekte, die Schnitte sowie die Kamerafahrten optimiert, um sie besser für fortlaufende Erzählabschnitte zu geeignen.
• Vidu Q3 Ad：Optimierung von Schnitten, Rhythmus, Produktdetails und Konsistenz für Kurzwerbespots, geeignet für Marketingmaterialien von 5 bis 8 Sekunden.

Kernfunktionen der Kreativität

• Stable Video Generation:Eingabe von Szene, Charakteren, Handlungen, Kamerawinkeln, Stil und Tonbeschreibungen zur Erstellung eines Videos. Q3 kann in einem einzigen Clip gleichzeitig Bilder, Dialoge, Soundeffekte oder Umgebungsgeräusche erzeugen, wodurch die Anzahl der nachträglichen Audiospuren reduziert wird.
• Tusheng-Videos:Man kann Personenfotos, Illustrationen, Produktbilder oder Szenenbilder in dynamische Videos umwandeln und die Bewegungen sowie die Kameraführung mit Anweisungen steuern. Die Komposition des Originalbildes, seine Schärfe sowie die Vollständigkeit der darin abgebildeten Elemente beeinflussen direkt das Endergebnis.
• Referenzvideo des Schülers:Laden Sie 1 bis 7 Referenzbilder hoch, die als visueller Kontext Personen, Requisiten, Gegenstände, Kleidung oder Stil darstellen. Mehrfachansichten sowie eine Bibliothek von Motiven tragen dazu bei, die Kohärenz von aufeinanderfolgenden Aufnahmen zu gewährleisten – geeignet für IP-, Anime- und Markeninhalte.
• Video aus Anfangs- und Endbildern:Legen Sie Anfangs- und Endbilder fest, damit das Modell die Bewegungen und Übergänge dazwischen erzeugt – geeignet für Verwandlungen, Produktpräsentationen, Szenenwechsel sowie den Anschluss an bestehende Aufnahmen.
• Intelligente Mehrfachaufnahmen:Es können mehrere Schlüsselframes festgelegt werden, um Szenenwechsel sowie lange Aufnahmen schrittweise zu erzeugen. Dies kann für Storyboards, kontinuierliche Erzählungen und mehrstufige Aktionen genutzt werden. Jede zweite Eingabebildung bildet einen Abschnitt; die Gesamtkosten ergeben sich aus der Summe der einzelnen Abschnitte.
• Videoverlängerung und -bearbeitung:Verlängern Sie die von Vidu erzeugten Abschnitte oder nutzen Sie im Referenzprozess des Q2 Pro die ursprüngliche Video-Editierung, das Ersetzen von Personen/Objekten sowie das Kopieren von Videos, um eine Neuerstellung von Grund auf zu vermeiden.
• Aktionssynchronisation:Eingeben Sie Referenzvideos und Bildern von Personen, damit die Charaktere nach den vorgegebenen Bewegungen handeln. Es werden sowohl reale Personen als auch Anime-Charaktere sowie Tiere unterstützt. Komplexe Verdeckungen, schnelle Drehungen sowie Details an den Händen können jedoch weiterhin zu Verzerrungen führen.
• Mundbewegungen und digitale Menschen:Mit Text oder Audio werden die Lippenbewegungen der Videopersönlichkeiten gesteuert. Die Funktionen der digitalen Personen ermöglichen es, Sprachvideos mithilfe von Bildern, Dialogen und Stimmen zu erstellen – außerdem wird die Nachahmung von Stimmen unterstützt.
• Bilder und Audio:Das Q2-Bildmodell unterstützt Text-zu-Bild-Generierung, Bildgenerierung anhand von Referenzen sowie Bildbearbeitung – in der höchsten Auflösung bis 4K. Zu den Audio-Funktionen gehören Ton-Effekte auf Basis von Text, steuerbare Effekte, Sprachsynthese und Klangreplikation.
• Intelligente Hochauflösung:Für Vidu-Videos werden zusätzliche Frames hinzugefügt und die Auflösung erhöht. Auf der Plattform können die Auflösungsstufen 1080P, 2K, 4K und 8K gewählt werden. Eine hohe Auflösung kann keine tatsächlichen Details wiederherstellen, die im Originalvideo nicht vorhanden sind.
• Vorlagen und Community-Replikationen:Es werden Vorlagen für Umarmungen, Küsse, Verwandlungen usw. sowie eine Kreativgemeinschaft bereitgestellt. Nutzer können öffentliche Werke ansehen und ähnliche Strukturen wiederverwenden. Bei den Vorlagen-Werken muss jedoch weiterhin die Einhaltung der Persönlichkeitsrechte sowie der Urheberrechte überprüft werden.

Einfach einen Film erstellen – sowie Branchellösungen

Die Vidu-Offenplattform hat das Ein-Kamera-Modell zu einem umfassenden Filmproduktionskonzept erweitert. Mit diesem Konzept können Serien, Live-Sendungen, Werbespots und Dokumentarfilme produziert werden.

E-Commerce-Plattformen erstellen aus Produktbildern, Links oder Verkaufsargumenten Video-Anzeigen mit einer Länge von 15 bis 60 Sekunden; KI-gestützte Musikvideos können Musik, Texte sowie 1 bis 7 Referenzbilder nutzen, um eine zusammenhängende Geschichte zu erzeugen.

Die Video-Rekonstruktion erstellt anhand des ursprünglichen erfolgreichen Videos sowie von Produkt- oder Modelbildern die Kamerabewegungen, Bewegungen sowie die audiovisuelle Struktur neu.

Bei Kurz- und Serienformaten können Abschnitte von 2 bis 30 Sekunden geplant und zu Inhalten von mehr als einer Minute zusammengestellt werden. Q3 Drama verbessert die Kontinuität der Charaktere, Szenen und Kameraaufnahmen. Der fertige Agent kann die Schritte der Storyboard-Erstellung, der Synchronisation und des Schnitts reduzieren, doch für die Einhaltung von Marketingvorgaben, die Echtheit der Produkte, die Wiederholung auf den Plattformen sowie die Lizenzen für Musik ist weiterhin menschliche Aufsicht erforderlich.

Vidu S1 – Echtzeit-interaktive digitale Person

Vidu S1 ist ein Videomodell für digitale Avatare, das für Echtzeitinteraktionen konzipiert ist. Es kann auf Basis von Sprachbefehlen kontinuierlich Bilder der Figur erzeugen und in beide Richtungen wahrnehmen. Auf der chinesischen Verbraucherseite wird eine Darstellung in 540P, 25FPS sowie eine unbegrenzte Anzahl an Echtzeit- Frames angezeigt. Die Forschungsversion im offiziellen Open-Source-Repository kann auf Consumer-GPUs laufen und höhere Frame-Raten erreichen.

Die Spezifikationen und Lizenzen für kommerzielle Cloud-Dienste, Beta-Versionen von APIs sowie Open-Source-Forschungsversionen dürfen nicht miteinander verwechselt werden.

S1 eignet sich für Live-Übertragungen, Kundenservice, virtuelle Begleitung sowie Bildung und interaktive Rollen. Die Verwendung von echten Gesichtern oder Stimmen erfordert eine ausdrückliche Genehmigung, und es müssen Inhaltsfilter, Verzögerungen, Notfallabstufungen sowie eine manuelle Übernahme eingestellt werden.

Preis- und Versionsvergleich

Kreator-Paket und Punkteregeln

Kunden von Vidu können sich kostenlos registrieren und durch neue Nutzer, täglichen Zugang sowie Aktionen Erfahrungspunkte sammeln. Es stehen außerdem Abonnements der Kategorien Standard, Professional und Flagship zur Verfügung. Die Abonnementspunkte sind in der Regel 30 Tage gültig.

Zusätzlich gekaufte Punkte sowie Belohnungspunkte für Aktionen sind in der Regel 2 Jahre gültig; der Kauf von Punkten ist nur für zahlende Nutzer möglich und kann weder in Mitgliedschaften umgewandelt noch weitergegeben oder ausgezahlt werden. Laut den offiziellen Angaben wird ein Geldrückerstattung bei einer Aufladung in der Regel nicht gewährt.

Die konkreten Monatsgebühren sowie die Anzahl der Punkte für Endkunden variieren je nach Region, Aktion sowie über Web- und App-Kanäle. Beim Kauf sollte man die Zahlungsseite prüfen.

Die offizielle Vidu AI-App im chinesischen App Store kann kostenlos heruntergeladen werden. Die aktuelle Version ist die 3.0-Serie, und In-App-Käufe sind möglich. Die genauen Preise für diese In-App-Käufe können je nach Konto sowie aktuellen Aktionen variieren.

Verwenden Sie nicht die in den alten Anleitungen enthaltene Vidu 2.0-Version mit der Festlegung von „4 Sekunden pro Video“, um den aktuellen Preis des Q3-Pakets zu ersetzen.

Chinesische Vidu-API-Preise

Chinas offene Plattformen werden nach Punkten bewertet.1 Punkt entspricht 0,03125 Yuan.Die Standard-Aufladepakete umfassen 500 Yuan für 16.000 Punkte, 1.000 Yuan für 32.000 Punkte, 2.000 Yuan für 64.000 Punkte, 5.000 Yuan für 160.000 Punkte und 20.000 Yuan für 640.000 Punkte. Die Gültigkeitsdauer beträgt 1 Jahr. Standardmäßig sind maximal 5 gleichzeitige Aufgaben möglich.

Für Aufgaben, die fehlschlagen oder bei der Inhaltssicherheitsprüfung abgelehnt werden, werden keine Punkte abgezogen; im Schichtmodus beträgt die Punktzahl in der Regel die Hälfte der normalen Punktzahl, und die Aufgaben können innerhalb von 48 Stunden erledigt werden.

Die Preise für die wichtigsten Videos in Q3 sind wie folgt:

• Q3 Pro：540P: 9 Punkte pro Sekunde, 720P: 20 Punkte pro Sekunde, 1080P: 24 Punkte pro Sekunde; außerhalb der Hauptnutzungszeiten etwa 5, 10 bzw. 12 Punkte pro Sekunde.
• Q3 Turbo：540P: 7 Punkte pro Sekunde, 720P: 12 Punkte pro Sekunde, 1080P: 13 Punkte pro Sekunde; außerhalb der Hauptnutzungszeiten etwa 4, 6 bzw. 7 Punkte pro Sekunde.
• Q3 Pro Fast – Video-Generierung aus Bildern:720P: 12 Punkte pro Sekunde, 1080P: 15 Punkte pro Sekunde; außerhalb der Hauptzeiten: 6 bis 8 Punkte pro Sekunde.
• Referenzkandidat für Q3 Mix:720P: 24 Punkte pro Sekunde, 1080P: 29 Punkte pro Sekunde. Zeitverschiebungen werden nicht unterstützt.
• Q3: Allgemeine Referenzkandidaten:540P, 720P, 1080P ergeben jeweils 7, 12, 15 Punkte pro Sekunde, bei abweichender Taktung etwa 4, 6, 7 Punkte pro Sekunde.

Umgerechnet nach dem Preis pro Punkt erzeugt der Q3 Turbo 540P unter normalen Bedingungen etwa 0,21875 Yuan pro Sekunde und außerhalb der Peak-Zeiten etwa 0,125 Yuan pro Sekunde; der Q3 Pro 1080P erzeugt unter normalen Bedingungen etwa 0,75 Yuan pro Sekunde und außerhalb der Peak-Zeiten etwa 0,375 Yuan pro Sekunde.

Dies beinhaltet nur eine erfolgreiche Erstellung pro Versuch und umfasst nicht wiederholte Versuche, Hochauflösung, Audio, Empfehlungen für Prompte sowie Postproduktion.

Weitere Beispiele für API-Preise

• Für Bildgenerierung in Q2: 1080P, 2K, 4K ergeben jeweils 6, 8, 10 Punkte.
• Für die Sprachsynthese werden 10 Punkte pro 500 Zeichen verlangt, für die Nachahmung von Stimmen 300 Punkte pro Klangfarbe.
• Für Lippenlesen gibt es 20 Punkte alle 5 Sekunden;
• Jede Erstellung eines Elements kostet 5 Punkte, die Bearbeitung und Nutzung von Elementen ist derzeit kostenlos.
• Aktionssynchronisation V1 720P: 10 Punkte pro Sekunde, die aktualisierte Version: 19 oder 34 Punkte pro Sekunde;
• Intelligente Ultra-HD-Auflösungen von 1080P, 2K, 4K und 8K ergeben jeweils 10, 20, 40 bzw. 160 Punkte pro Sekunde;
• Die Vidu S1-Cloud-API bringt alle 2 Sekunden 3 Punkte ein. Die ersten 10 Klangfarben können kostenlos heruntergeladen werden; weitere Klangfarben kosten etwa 28 Yuan pro Stück. Ein Basiskonto beinhaltet 5 kostenlose gleichzeitige Verbindungen.

Internationale API-Preise

Die Punkte auf der International Open Platform 1 betragen 0,005 US-Dollar. Bei der Q3 Pro liegen die Werte je nach Auflösung bei etwa 0,045 bis 0,12 US-Dollar pro Sekunde, bei der Q3 Turbo bei etwa 0,035 bis 0,065 US-Dollar pro Sekunde.

Die Ausreißer werden auf etwa die Hälfte reduziert.

Steuern, Gebühren sowie Preise für Großbestellungen können separat berechnet werden. Die Konten für den chinesischen und internationalen Markt, API-Schlüssel, Währungen und Punkte sind standardmäßig nicht miteinander verknüpft.

Open-Source-Zustand

Vidu Q3, Q2, die Konsumierungs- und Kreativplattformen sowie die kommerziellen APIs sind keine Open-Source-Modelle – die offiziellen Entwickler stellen keine vollständigen Gewichtungswerte zur Verfügung, die für eine Offline-Einsatz ermöglichen würden. Shengshu Technology hat Vidu Skills, CLI und MCP-Anbindungstools auf GitHub veröffentlicht, über die man die Vidu-API aus kompatiblen Umgebungen wie Claude, Cursor, Codex usw. aufrufen kann.

Diese Tools benötigen weiterhin eine API-Key und werden nach Verbrauch abgerechnet.

Die Behörden haben außerdem das Forschungsprojekt Vidu S1 sowie die damit verbundenen Funktionen offengelegt; ein Teil des Codes und der Gewichte unterliegt eigenen Lizenzen. Das bedeutet jedoch nicht, dass das Q3-Modell oder die gesamte Vidu-Plattform open source sind.

Der Verzeichnis sollte als „Exklusiv für kommerziell generierte Modelle, offizielle Tools sowie einige S1-Forschungsprojekte zugänglich“ gekennzeichnet werden.

Vidu-Anleitung

Eine grundlegende Aufgabe erledigen

1. Bestimmen Sie das Publikum, die Plattform, das Format, die Dauer sowie die Informationen, die übermittelt werden müssen;
2. In Vidu werden Skripte, Aufnahmen oder Referenzmaterialien vorbereitet, die zum Einsatz kommen dürfen;
3. Wählen Sie die Vidu Q3-Modellreihe aus und erstellen Sie eine preisgünstige Vorschau;
4. Verwenden Sie die Kern-Erstellungsfunktionen, um Bild, Rhythmus, Untertitel und Ton anzupassen;
5. Jedes Frame wird auf Personen, Texte, Logos, Mundbewegungen und die Richtigkeit der Fakten überprüft;
6. Nach der Bestätigung der Lizenzen für Musik, Porträts und Materialien wird die Datei in der gewünschten Formatierung exportiert;

Erstellung wiederverwendbarer professioneller Workflows

1. Erstellung von Skripten, Drehbüchern, Markenmaterialien und einer Liste der zu verbietenden Elemente;
2. Einheitliche Parameter für die Vidu Q3-Modellreihe, die Kern-Erstellungsfunktionen sowie „One-Click-Videoerstellung“ und Branchellösungen.
3. Zuerst werden das Modell und die Obergrenze mit repräsentativen Aufnahmen getestet;
4. Fehlerhafte Aufnahmen in eine manuelle Bearbeitung überführen oder neu erstellen;
5. Einheitliche Untertitel, Lautstärke, Farben und Abspann-Copyright-Informationen;
6. Erst nach Erfassung der Version und des Prüfers in Batch veröffentlichen;

Unterstützte Plattformen und Zielgruppen

• Vidu bietet chinesische und internationale Webseiten, iPhone-Apps, APIs, MCP, CLI sowie AgentSkills an;
• Geeignet für Kurzvideo-Ersteller, Anime- und Manga-Teams, E-Commerce- und Werbeagenturen, Film- und Fernseh-Vorproduktionen, Spiele- und virtuelle IP-Teams, Bildungs- und Kulturtourismusorganisationen sowie Entwickler, die eine Massenerstellung von Videos benötigen.

Einsatzbeschränkungen und Sicherheitshinweise

• Bei AI-Videos können weiterhin Probleme wie eine Veränderung der Identität der Personen, Fehler bei den Händen, physikalisch unsinnige Szenen, verformte Untertitel, Inkonsistenzen zwischen Ton und Bild sowie Probleme mit der Abfolge der Kameraszenen auftreten.
• Mehrfachreferenzen können die Konsistenz verbessern, aber eine vollständige Absicherung gewährleisten.
• Formelle Projekte sollten zunächst mit geringen Kosten getestet werden, anschließend in hoher Auflösung erstellt werden, und in einer Schnittsoftware die Rhythmik, die Geräusche, die Untertitel sowie Fehler korrigiert werden.
• Bevor man echte Fotos, Audiodateien, Videoausschnitte, Produktbilder und Musik hochlädt, muss man sich vergewissern, dass für das Porträt, die Stimme, die Markenzeichen sowie die Urheberrechte Genehmigungen vorliegen.
• Es ist nicht zulässig, Inhalte zu erstellen, die Täuschung, Betrug oder unerlaubte Pornografie darstellen oder irreführend sind.
• Bei der Veröffentlichung nach außen müssen die Regeln der Plattform sowie die Anforderungen zur Kennzeichnung von durch KI erzeugtem Inhalt eingehalten werden. Bei Werbeanzeigen müssen zudem die Wirksamkeit des Produkts, der Preis sowie die Beziehungen zu den Vertretern des Produkts überprüft werden.
• API-Aufrufe sollten Schlüssel schützen, Signaturen von Callbacks überprüfen, die Konkurrenz sowie das Budget begrenzen und mit Warteschlangen, Fehlern, Überprüfungen sowie Zeitüberschreitungen umgehen.
• Eine einmal verwendbare Folge muss oft mehrfach erstellt werden; bei der Kostenschätzung müssen Fehlerquoten, Audio, UHD-Qualität, Speicherbedarf sowie die manuelle Nachbearbeitung berücksichtigt werden.

Häufige Fragen

Was ist Vidus neuestes Modell?

Die aktuelle Hauptreihe ist die Vidu Q3-Serie, die Versionen wie Pro, Turbo, Mix, Drama und Ad umfasst; Q2, Q1 und 2.0 werden weiterhin für spezielle Funktionen und Preisbereiche verwendet.

Wie lang können Vidu-Videos sein?

Die einmalige Modellgenerierung in Q3 unterstützt Zeiträume von 1 bis 16 Sekunden, wobei die üblichen Zeiten bei 3 bis 16 Sekunden liegen. Mit der One-Click-Funktion können längere Werbespots, Kurzfilme oder MVs von 15 bis 60 Sekunden geplant und zusammengestellt werden.

Wie viel kostet die Vidu-API?

Auf der chinesischen Plattform entspricht 1 Punkt 0,03125 Yuan. Der Q3 Turbo 540P erzeugt normalerweise 7 Punkte pro Sekunde, was etwa 0,21875 Yuan entspricht.

Fehler in unpassenden Momenten: 4 Punkte pro Sekunde, das entspricht etwa 0,125 Yuan.

Je höher die Auflösung und das Modell, desto höher die Kosten.

Ist Vidu Open Source?

Q3 sowie die vollständige Plattform sind nicht open source. Offiziell wurden MCP, CLI, Skills sowie einige Vidu S1-Forschungsprojekte freigegeben, doch zur Nutzung des kommerziellen Modells sind weiterhin eine API-Key sowie eine Gebühr erforderlich.