Kling AI

Was ist Keling AI?

Kling AI ist eine von Kuaishou entwickelte Plattform für die Erstellung von multimodalen Inhalten. Der englische Name lautet Kling AI. Sie bietet eine umfassende Arbeitsumgebung für die Erstellung, Bearbeitung und Exportierung von Videos, Bildern, Audiodateien, digitalen Avataren sowie visuellen Effekten.

Die aktuelle Kling 3.0-Serie vereint Skripte, Referenzmaterialien, Storyboards, Bilder und Ton in einem einzigen Modell. Nutzer können auf der Grundlage von Texten, Bildern, Personenreferenzen oder vorhandenen Videos Werbespots, Kurzfilme, Social-Media-Inhalte sowie Konzeptbilder erstellen.

Hauptfunktionen von Keling AI

• Text zu Video – es ist möglich, den Hauptgegenstand, die Bewegungen, die Szene, die Kameraeinstellungen sowie den Ton zu beschreiben.
• Bilder in Videos umwandeln, um statische Personen, Produkte oder Szenen natürliche Bewegungen zu verleihen;
• Kling 3.0 und 3.0 Omni unterstützen eine freie Dauer von 3 bis 15 Sekunden sowie intelligente Storyboards;
• Das Originalaudio kann synchron Sprechertexte, Umgebungsgeräusche, Bewegungslaute und Atmosphäre erzeugen.
• Referenzen mit vielen Bildern oder Videos von Charakteren können die Übereinstimmung zwischen Personen und Objekten verbessern.
• Anfangs- und Endframes, Videoverlängerung, Bewegungssteuerung und Kamerasteuering ermöglichen eine präzise Gestaltung;
• Bild 3.0 unterstützt Text-zu-Bild-, Bild-zu-Bild-, Serienbild-Generierung sowie hochauflösende Ausgaben;
• Lip-Sync, Digital Humans und Klangfähigkeiten eignen sich für Sprachaufnahmen und Charakterinhalte;
• Die animierte Leinwand wird zur Organisation von Materialien, zur Erstellung von Knotenpunkten sowie für mehrschrittige kreative Prozesse verwendet.
• Die API der offenen Plattform ermöglicht es, Funktionen wie Video, Bilder und Audio in Geschäftsunternehmen zu integrieren.

Kling 3.0 und 3.0 Omni

Kling 3.0 legt Wert auf natives 1080p, Videos von 3 bis 15 Sekunden Länge, intelligente Storyboarding-Funktionen sowie die Synchronisation von Ton und Bild. Kling 3.0 Omni vereint zudem die Funktionen der multimodalen Verarbeitung, des Referenzierens, der Erstellung und Bearbeitung – ideal für Aufgaben mit mehreren Charakteren, verschiedenen Kamerawinkeln und komplexen Anweisungen.

15 Sekunden pro Einheit entsprechen nicht der Erstellung eines vollständigen Films auf einmal. Die Dauer kann durch Video Extension schrittweise verlängert werden; die Gesamtdauer des Projekts kann dabei bis zu etwa 3 Minuten betragen. Bei der Verlängerung sollte derselbe Modell- und Mustersatz beibehalten werden, um Abweichungen bei den Charakteren, dem Licht sowie der Bewegung zu vermeiden.

Videogenerierung aus Text und Videogenerierung aus Bildern

Video-Generierung durch Text eignet sich dazu, mit einem Konzept zu beginnen; die Anweisungen können nach Subjekt, Umgebung, Handlung, Kameraeinstellungen, Beleuchtung, Rhythmus und Sound geordnet werden. Video-Generierung durch Bilder nutzt das erste Bild als stärkere visuelle Einschränkung und eignet sich besser für Produkte, Charaktere sowie bereits vorhandene Designs.

Wenn das Bild selbst missgestaltete Gliedmaßen, falsche Perspektiven oder unklare Schriftzeichen aufweist, wird es nach der Erstellung in der Regel vergrößert. Zunächst sollten die statischen Bilder korrigiert werden, anschließend allmählich die Bewegungsintensität sowie die Komplexität der Kameraeinstellungen erhöht werden.

Ursprüngliches Audio in Lipnsynchronisation

Die mit Video 2.6 sowie 3.0 verbundenen Modelle können bei der Erstellung von Bildern gleichzeitig Dialoge, Kommentare, Umgebungsgeräusche und Bewegungseffekte erzeugen. Die Erstellung direkt im Original ist im Vergleich zur Nachbearbeitung einfacher, um den Rhythmus zu treffen – doch bei mehreren Stimmen, Aussprache in Fremdsprachen sowie langen Sätzen ist dennoch eine Überprüfung notwendig.

Mundbewegungs-Synchronisierung kann bereits vorhandene Videos mit Text-to-Speech- oder Audiodaten verknüpfen und dabei bestimmte Gesichter in mehrpersonigen Szenen auswählen. Vor der Veröffentlichung sollten Mundbewegungen, Audioqualität, Rechte an den Dialogen sowie Lizenzen für die Töne überprüft werden.

Referenzen zu Charakteren und Konsistenz

All-in-One Reference und Element Library ermöglichen es, mithilfe von Bildern aus verschiedenen Winkeln oder kurzen Videoaufnahmen der Charaktere, die Merkmale von Personen und Szenen zu identifizieren. Sie eignen sich gut für Serienkurzfilme sowie Markencharaktere. Allerdings können Verdeckungen, extreme Winkel sowie schnelle Verformungen dazu führen, dass die Identität der Charaktere unklar wird.

Bewegungen, Kameraschwenke und Steuerung der Anfangs- und Endframes

Die Bewegungskontrolle ermöglicht es, die Charaktere durch Referenzbewegungen zu steuern, während die Kamerakontrolle Effekte wie Szenenwechsel, Zoomen, Drehen und Panieren erlaubt. Die Anfangs- und Endframes sorgen wiederum für Übergänge zwischen zwei festgelegten Bildern und eignen sich somit für Übergangssequenzen, Änderungen des Produkts sowie visuelle Erzählungen.

Je mehr Einschränkungen es gibt, desto stabiler ist die Situation nicht unbedingt – konträre Handlungen, Kompositionen sowie Kamerabefehle verringern die Erfolgschancen. Komplexe Aufnahmen sollten in mehrere kurze Abschnitte unterteilt werden, um sie anschließend in einer Bearbeitungssoftware zusammenzufügen.

Bildgenerierung und animierte Leinwände

Das Bildmodell unterstützt Texte, Referenzbilder, verschiedene Verhältnisse sowie serielle Erstellung – es ermöglicht es, für Videos zunächst Charaktere, Szenen und Schlüsselframes zu erstellen. Die intelligente Arbeitsfläche platziert die Materialien sowie die Erstellungs Schritte in einem visualisierbaren Raum, was das Ausprobieren von Varianten sowie die Organisation der Ressourcen erleichtert.

Digitale Menschen und kreative Effekte

Die Funktionen der digitalen Personen ermöglichen es, mithilfe von Bild- und Audiomaterialien Sprachnachrichten zu erzeugen – ideal für Kurse, Marketingaktivitäten sowie mehrsprachige Inhalte. Mit den Vorlagen können beliebte Formate schnell wiederverwendet werden, doch es besteht eine deutliche Homogenisierung. Markenprojekte sollten ihre visuelle Gestaltung und Erzählweise weiter anpassen.

Vergleich der KI-Fähigkeiten von Kering

Kling AI-Mitgliedschaft und Inspirationswert

Keling AI bietet eine Kombination aus kostenlosem Test, Mitgliedschaften und Aufladung von Inspirationspunkten an. Der Name der Mitgliedschaften, die bereitgestellten Vorteile, der Express-Zugang sowie die Preise können je nach chinesischer oder internationaler Version, Website, App-Store sowie Aktivitäten variieren. Es sollten stets die Angaben auf der offiziellen Kaufseite nach dem Anmelden herangezogen werden.

Zu Beginn einer Erstellungsaufgabe wird der Inspirationswert abgezogen; falls das System eine fehlgeschlagene Erstellung feststellt, wird dieser Wert zurückgegeben. Verschiedene Aufgaben, Modelle, Auflösungen, Dauer und Modi verbrauchen unterschiedliche Mengen an Ressourcen. Das Konto verwendet dabei in erster Linie die Restpunkte mit der kürzeren Gültigkeitsdauer.

Die Inspirationspunkte können weder in Bargeld noch in normale Mitgliedschaften umgewandelt werden, und es ist auch nicht möglich, sie zwischen den persönlichen Konten zu übertragen. Team- und Unternehmensverwalter können die Ressourcen gemäß den Regeln der Plattform in den entsprechenden Bereichen zuweisen.

Preise für die Keling AI API

Die offene Plattform nutzt vorab bezahlte Ressourcepakete sowie eine Gebührenberechnung nach Stück. 1 Unit entspricht auf der chinesischen Plattform 1 Yuan, während er auf internationalen Plattformen 0,14 US-Dollar entspricht. Im Folgenden sind die aktuellen Grundgebühren für die Kling 3.0 Turbo-Video-API aufgeführt; für andere Modelle und Funktionen sollten die aktuellen API-Preise konsultiert werden.

Zum Beispiel beträgt der Grundverbrauch für 720P mit Ton in 10 Sekunden bei 3.0 Turbo 8 Einheiten, bei 1080P 10 Einheiten – unabhängig von Rabatten oder Unterschieden in den Ressourpaketen. Die API-Preise sind von den Preisen für Mitgliedschaften zur persönlichen Kreation getrennt; man kann nicht davon ausgehen, dass die Inspirationswerte der Mitglieder direkt auf die API-Kosten angerechnet werden können.

Anleitung zur Verwendung von Keling AI

Erstelle ein nutzbares Video.

1. Bestimmen Sie die Zielplattform, das Verhältnis, die Dauer sowie ob ein Ton erforderlich ist.
2. Schreiben Sie die Anweisungen als Hauptteil, Szene, Handlung, Kameraeinstellung, Licht und Atmosphäre.
3. Wenn es um Personen oder Produkte geht, sollten zunächst saubere Referenzen aus verschiedenen Blickwinkeln bereitgestellt werden.
4. Testen Sie zunächst die Komposition mit kurzer Dauer und mäßigen Bewegungen;
5. Nach Auswahl der stabilen Version werden Audio, Kamerafunktionen oder der Profimodus hinzugefügt;
6. Verwenden Sie Verlängerungen oder Storyboards zur Erstellung der folgenden Aufnahmen;
7. Überprüfen Sie nach der Exportierung das Flackern, die Lippenbewegungen, die Hände, den Text, das Urheberrecht sowie die Plattformspezifikationen.

Erstellung einer Reihe von Kurzfilmen mit konsistenten Charakteren

1. Erstellen von Referenzen für die Vorderansicht, Seitenansicht, Gesamtbild und Gesichtsausdrücke der Figur;
2. Achten Sie darauf, dass Kleidung, Frisur, Requisiten und Beschreibungen der Szene konsistent sind;
3. Fügen Sie die Rolle der Elementbibliothek oder der multimodalen Referenz hinzu;
4. Teilen Sie die Geschichte in mehrere Szenen von 3 bis 15 Sekunden auf;
5. Jedes Mal wird nur eine Hauptbewegung oder eine Kameraposition geändert;
6. Verlängern mit dem gleichen Modell, Bildformat und Farbeinstellungen;
7. In der Schnittsoftware werden Ton, Farbe, Untertitel und Rhythmus vereinheitlicht.

Massenereignung über API

1. Die Anmeldung, Authentifizierung sowie Konfiguration der Ressourcepakete erfolgen auf der offenen Plattform;
2. Speichern Sie den Zugriffscode in den Server-Secrets;
3. Geben Sie die Modelle, Anweisungen, Dauer- und Auflösungsparameter gemäß der Dokumentation ein;
4. Speichern Sie die Aufgabenummer und überprüfen/empfangen Sie die Ergebnisse asynchron;
5. Wiederholen bei Fehlern, Zeitüberschreitungen, Bandbreitenbeschränkungen und Inhaltssperren;
6. Erhalten Sie Aufzeichnungen über den Unit-Verbrauch und die Herstellungskosten für jede Aufgabe;
7. Nach dem Herunterladen wird eine Qualitätsprüfung durchgeführt, bevor es übergeben oder veröffentlicht wird.

Für welche Nutzer eignet sich Keling AI?

• Kurzvideo-Ersteller: Erstellung von Handlungssträngen, Sprachaufnahmen, Übergängen und Effektmaterialien;
• Werbeteam und E-Commerce-Team: Erstellung von Produktvideos und Marketingkonzepten;
• Mitarbeiter in der Film- und Animationsbranche: Proben von Storyboards, Aufnahmen sowie Bewegungen der Charaktere;
• Designer: Poster, Illustrationen und Charakterdesigns in dynamische Inhalte umwandeln;
• Team für Bildung und Schulung: Erstellung von digitalen Vorträgen und Erklärvideos;
• Spieleentwicklerteam: Überprüfung von Szenen, Zwischensequenzen und kreativen Charakterbewegungen;
• Entwickler und Unternehmen: Massenproduktion und Anbindung von Workflows über APIs.

Vorteile von Kering AI

• Videos, Bilder, Audio, digitale Avatare und Bearbeitungstools sind recht umfassend vorhanden;
• Die 3.0-Serie unterstützt längere Einzelobjektive, natives Audio und intelligente Storyboarding-Funktionen;
• Personen, Szenen und Referenzen aus verschiedenen Materialien tragen dazu bei, Konsistenz zu bewahren;
• Unterstützung für verschiedene Bildformate, Anfangs- und Endframes, Verlängerung sowie Bewegungskontrolle;
• Webseiten-, Mobil- und Community-Vorlagen decken verschiedene Kreativmethoden ab;
• Die Regeln bezüglich des Inspirationswerts sowie die Umrechnung bei Standardaufladungen in China sind relativ klar definiert.
• Es werden offizielle API-Plattformen sowie Dokumentationen zur funktionbasierten Abrechnung bereitgestellt.

Einsatzbeschränkungen und Hinweise

• Komplexe Gliedmaßen, mehrere Personen, die etwas verdecken, sowie schnelle Bewegungen können weiterhin zu Verzerrungen führen.
• Charaktere, Kostüme, Beleuchtung und Details können von einer Aufnahme zur anderen variieren;
• Bei der ursprünglichen Sprachaufnahme kann es zu Asynchronien in der Aussprache, im Tonfall oder in den Lippenbewegungen kommen;
• Die Kosten für eine einzige Erstellung hängen vom Modell, der Dauer, dem Ton und der Auflösung ab;
• Die den Mitgliedern gewährten Inspirationspunkte verfallen in der Regel nach einem Monat und können nicht langfristig angesammelt werden.
• Das Aufladen der Inspiration-Werte entspricht nicht den exklusiven Vorteilen für Mitglieder wie hohe Auflösung oder Wasserzeichenfreiheit.
• Die Erstellung eines Videos erfordert weiterhin Nachbearbeitung, Farbkorrektur, Untertitel sowie Qualitätskontrolle;
• Für Porträts von realen Personen, Stimmen, Markenzeichen sowie urheberrechtlich geschützte Materialien ist zuerst eine Genehmigung einzuholen.

Wirtschaftlicher Einsatz, Privatsphäre und Inhaltssicherheit

Ob die Ausgaben von Kering AI für kommerzielle Zwecke genutzt werden können, hängt von den aktuellen Nutzungsbedingungen, den Inklusivleistungen des Pakets, den Rechten an den eingegebenen Materialien sowie den lokalen Gesetzen ab. Die Genehmigung der Plattform ersetzt keine Genehmigungen Dritter für Porträts, Stimmen, Musik, Markenzeichen, Filmmaterialien sowie Referenzmaterialien zur Schulung.

Die Ergebnisse der KI können den vorhandenen Werken ähneln oder auch Teile enthalten, für die kein Urheberrecht geschützt werden kann. Für wertvolle Werbung, Filme und Markenprojekte sollten Prompte, Referenzmaterialien, Erstellungsprotokolle sowie manuelle Änderungen aufbewahrt werden und eine rechtliche Prüfung durchgeführt werden.

• Laden Sie nur eigene, lizenzierte oder zur Verwendung erlaubte Bilder und Videos hoch;
• Ohne ausdrückliche Zustimmung darf die Stimme einer realen Person nicht geklont oder ein irreführender digitaler Mensch erstellt werden;
• Überprüfen Sie vor der Veröffentlichung das Wasserzeichen, die Identität der Personen, Markenzeichen und sensible Inhalte;
• Markieren Sie den von KI erzeugten oder synthetisierten Inhalt gemäß den Anforderungen der Plattform und des Landes;
• API-Schlüssel werden nur auf der Serverseite gespeichert, wobei Quoten und Zugriffskontrollen festgelegt werden.
• Bevor vertrauliche Materialien in die Cloud gelangen, sollten die Datenschutzbestimmungen sowie die Unternehmensverträge überprüft werden.

Erklärungen zu API, GitHub und Open Source

Die Kering AI Open Platform bietet Funktionen wie Text-zu-Video-Generierung, Bild-zu-Video-Generierung, Videoverlängerung, Lippenbewegungs-Synchronisierung sowie APIs für Bilder und andere Multimedia-Inhalte. Dabei wird ein asynchrones Arbeitsverfahren verwendet. Die Kontoeinstellungen, Ressourcen sowie Preisstrukturen für Einzelpersonen, inländische Nutzer sowie internationale API-Nutzer können unterschiedlich sein.

Das Core-Modell von Keling 3.0, die Plattform für Online-Kreation sowie die Inferenzdienste sind keine Open-Source-Projekte. Kuaishou und das Forschungsteam von Keling haben einige wissenschaftliche Arbeiten sowie Forschungskoden auf GitHub veröffentlicht, doch darauf basierend kann das aktuelle kommerzielle Modell von Keling nicht eigenständig eingesetzt werden.

Häufige Fragen

Ist Keling AI kostenlos?

Einige Funktionen können kostenlos ausprobiert werden. Die genauen täglichen oder pro Aktion gültigen Limits entnehmen Sie der Kontoübersicht. Fortgeschrittene Modelle, Express-Optionen, Hochauflösung, Wassermerkentransparenz sowie die Erstellung großer Mengen an Inhalten erfordern in der Regel ein Mitgliedschaftskonto oder Inspirationspunkte.

Wie viel ist Inspiration wert?

Der offizielle chinesische Standard für die Aufladung lautet: 1 chinesischer Yuan entspricht 10 Inspirationswerten. Es können Rabatte bei Aktionen angeboten werden. Der tatsächliche Verbrauch pro Aufnahme hängt vom Modell, der Dauer, der Tonqualität sowie der Klarheit ab.

Wie lang kann eine KI von KeLing auf einmal ein Video erstellen?

Die Kling 3.0-Serie kann in einer einzigen Aufgabe Fragmente von 3 bis 15 Sekunden erzeugen; erfolgreiche Fragmente können schrittweise verlängert werden, wobei die Gesamtlänge eines Projekts etwa 3 Minuten erreichen kann. Die tatsächlich verfügbare Dauer ist durch Einschränkungen des Modells und der Funktionen begrenzt.

Bietet Keling AI eine API an?

Es wird eine offene Plattform bereitgestellt, die Video-, Bild-, Audio- sowie Bearbeitungsfunktionen umfasst, und abgerechnet wird nach Ressourcenpaketen oder Einheiten. Entwickler sollten die Kosten anhand der Echtzeit-Preisliste für APIs ermitteln.

Ist Kering AI Open Source?

Nein, weder das Kling-Kernmodell noch die kommerzielle Plattform sind open source. Der von dem offiziellen Forschungsteam veröffentlichte Paper-Repository ist nicht gleichzusetzen mit den Gewichten des Kling 3.0-Modells oder dem vollständigen Service.