Luma Dream Machine

Was ist Luma AI?

Luma AI ist eine Plattform für kreative Teams zur Erstellung von Videos, Bildern und mehrschrittigen Inhalten. Sie ermöglicht es, anhand von Texten, Bildern, Referenzmaterialien oder bereits vorhandenen Videos Konzepte zu entwickeln, Aufnahmen zu erstellen, visuelle Anpassungen vorzunehmen und die fertigen Materialien bereitzustellen.

Viele Nutzer suchen das Produkt weiterhin unter dem Namen Dream Machine, doch die offizielle Bezeichnung gilt inzwischen als veraltet. Die aktuelle Benutzeroberfläche wird Luma App genannt, das aktuelle Video-Modell ist Ray3.2, während das Bild- und Multimodalmodell UNI-1.1 ist.

Hauptfunktionen von Luma AI

• Ray3.2 unterstützt die Erstellung von Videos aus Texten sowie von Videos aus Bildern;
• Modify Video V2 kann bestehende Darbietungen, Umgebungen, Kostüme und visuelle Stile neu gestalten;
• Multi-Keyframe ermöglicht die Steuerung eines einzelnen Abschnitts mit bis zu 16 Schlüsselbildern;
• Reframe kann bestehende Videos in unterschiedliche Formate umwandeln und dabei Bewegung sowie Darbietung beibehalten.
• Unterstützung für die Erstellung in den Qualitätsstufen Draft, 540p, 720p und 1080p;
• natives HDR, 16-Bit-Farben sowie EXR-Ausgabe eignen sich für das Color-Grading und VFX-Prozesse;
• UNI-1.1 unterstützt Texte, Referenzbilder, das Verständnis mehrerer Bilder sowie Bildbearbeitung;
• Luma Agents kann den Projektkontext planen, erzeugen, iterativ weiterentwickeln und verwalten;
• Die Plattform integriert externe Video-, Bild- und Audio-Modelle.
• Formelle APIs sowie Python- und TypeScript-SDKs eignen sich für die Automatisierung der Produktion.

Ray3.2 Videoerstellung

Ray3.2 ist Lumas aktuelles Videomodell, das zur Erstellung von Videos aus Texten, Bildern sowie für kontrollierte Video-Workflows verwendet wird. Es legt Wert auf Kamerakontinuität, kreative Regiefähigkeiten und skalierbare Produktion – anstatt nur einmalige Kurzvideos zu erzeugen.

Die Benutzer können zunächst zu niedrigen Kosten mit der Funktion „Draft“ die Komposition und Bewegungen ausprobieren, bevor sie die gewählte Version in 540p, 720p oder 1080p-Qualität erstellen. Je höher die Auflösung und Länge sind, desto mehr Punkte werden verbraucht.

Modify Video V2

Modify Video dient dazu, vorhandene Live- oder Animationsmaterialien neu zu gestalten – es ist möglich, Hintergründe, Kleidung, das Aussehen der Charaktere, das Licht sowie den gesamten Stil zu ändern, wobei versucht wird, die ursprüngliche Darbietung und die Kamerabewegungen so weit wie möglich beizubehalten. Derzeit werden Workflows mit einer Länge von bis zu 20 Sekunden in der Auflösung 1080p unterstützt.

Die Bearbeitung erfolgt nicht durch traditionelle Pixel für Pixel-Synthese; kleine Requisiten, Hände, Verdeckungen und schnelle Bewegungen können sich dennoch ändern. Für professionelle Projekte ist eine Frame für Frame-Prüfung erforderlich, wobei das Originalmaterial als Referenz für die Synthese beibehalten werden muss.

Mehr Schlüsselframes und Kamerakontinuität

Multi-Keyframe ermöglicht es, einem einzelnen Abschnitt bis zu 16 Schlüsselframes zur Verfügung zu stellen, um Personen, Komposition, Bewegungen sowie Szenenwechsel zu steuern. Selbst bei großen Unterschieden zwischen den Schlüsselframes können Sprünge auftreten; daher sollten räumliche Beziehungen und der visuelle Stil erkennbar bleiben.

Reframe und Mehrplattform-Formate

Reframe bedeutet nicht einfaches Ausschneiden, sondern die Ergänzung des Bildes entsprechend dem neuen Format, wobei Bewegung, Komposition und Gesichtsausdrücke möglichst beibehalten werden. Es eignet sich dazu, horizontale Werbebilder in vertikale Kurzvideos, quadratische Social-Media-Elemente oder andere Formate umzuwandeln.

Die neu hinzugefügten Bereiche werden von KI ermittelt und können Objekte sowie Kanten enthalten, die nicht zum ursprünglichen Szenario passen. Markenelemente, Untertitel und Produktdetails sollten nach der Umstrukturierung erneut überprüft werden.

Professionelle Ausgabe in HDR und EXR

Ray3.2 kann HDR-Dateien erzeugen und diese als 16-Bit-EXR-Dateien exportieren – dadurch entsteht mehr Spielraum für die Farbkorrektur, visuelle Effekte sowie die Verarbeitung von Inhalten mit hohem Dynamikbereich. Die Berechnung des HDR-Werts erfolgt auf der Grundlage des SDR-Werts; dabei wird bei HDR+EXR mehr Speicher benötigt.

Eine hohe Auflösung ist nur dann von Wert, wenn sie in einem korrekt auf Farbmanagement ausgelegten Postproduktionsprozess verwendet wird. Für normale Social-Media-Veröffentlichungen kann zunächst eine SDR- oder niedrigauflösende Vorschau genutzt werden, um unnötige Kosten zu vermeiden.

UNI-1.1-Bilder und multimodale Kreationen

UNI-1.1 ist Lumas aktuelles Bild- und Multimodalmodell, das Text-zu-Bild-Generierung, referenzbasierte Steuerung, Szenenkomplettierung sowie Mehrbildsteuerung unterstützt. Es eignet sich dazu, zunächst Charaktere, Produkte, Umgebungen und Schlüsselvisuals zu erstellen, diese anschließend an Ray zur Erstellung dynamischer Aufnahmen zu übergeben.

Luma Agents und Drittanbieter-Modelle

Luma Agents kann die Ziele eines Projekts verstehen, Schritte zur Erstellung, Bearbeitung und Organisation auswählen und den kreativen Kontext beibehalten. Die Luma App integriert außerdem einige externe Video-, Bild- und Audiomodelle, damit Teams verschiedene Ergebnisse im selben Projekt vergleichen können.

Die Fähigkeiten, Gebühren und Datenschutzbedingungen von Drittanbieter-Modellen können unterschiedlich sein; daher können nicht alle Erzeugnisse als Ausgabe von Ray oder UNI angesehen werden. Vor der Auswahl eines Modells sollten Name, Lizenzbedingungen und kommerzielle Anforderungen überprüft werden.

Vergleich der Fähigkeiten von Luma AI

Preis von Luma AI

Die Luma-App bietet individuelle Pakete in den Versionen Plus, Pro und Ultra an. Für Team- und Enterprise-Lösungen wenden Sie sich bitte an den Verkaufsservice. In der folgenden Tabelle sind die aktuellen Preise in US-Dollar auf der offiziellen Website aufgeführt – es handelt sich um einen Einmalkauf für ein Jahresabonnement, wobei der Preis auf einen monatlichen Betrag umgerechnet wird.

Ray3.2-Integritätsverbrauch

Alte Versionen wie Ray3.14 oder schnelle Modelle, UNI-Bilder sowie Drittanbietermodelle haben jeweils eigene Preise. Die Preisliste kann sich mit den Updates der Modelle ändern; vor der serienmäßigen Herstellung sollte auf der Erstellungsseite die Gesamtkosten für Einzelprodukte sowie für die gesamte Charge berechnet werden.

Luma AI Anleitung

Von der Konzeption bis zur professionellen Kameraeinstellung

1. Bestimmung des Verwendungszwecks der Kamera, der Proportionen, der Dauer, der Auflösung sowie der Farbqualität;
2. Beschreibung des Subjekts, der Szene, der Handlung, der Kameraposition, des Lichts und des Rhythmus;
3. Erstellen Sie mit UNI Schlüsseldarstellungen für Charaktere, Produkte oder Umgebungen;
4. Erstellen Sie mit Draft mehrere kostengünstige Sportpläne;
5. Wählen Sie die stabilste Version der Komposition und des Auftritts aus;
6. Erhöhung der Schlüsselframes oder Referenzbilder zur Korrektur der Kontinuität;
7. Schließlich wird eine HD- oder HDR-Version erstellt und in die Postproduktion überführt.

Mit „Modify“ die Originalaufnahmen neu zeichnen

1. Wählen Sie Originalfilme mit klarer Darstellung, stabiler Bewegung und vollständigen Rechten aus;
2. Schneiden auf kurze Abschnitte, die vom Modell unterstützt werden;
3. Laden Sie Referenzen für Charaktere, Kostüme oder Umgebungen hoch;
4. Bestimmen, welche Handlungen, Kompositionen und Identitäten beibehalten werden müssen;
5. Zuerst wird die Neuplotzungsstärke bei niedriger Auflösung getestet;
6. Prüfen Sie Frame für Frame Hand, Verdeckungen, Ränder und Gesicht;
7. Die ausgewählte Version exportieren und mit dem Originalfilm zusammenfügen, inklusive Ton und Farbkorrektur.

Massenereignung über API

1. Erstellen Sie eine Server-Schlüssel auf der Luma API-Plattform und laden Sie Geld auf.
2. Wählen Sie das aktuelle Modell, die Aufgabe und die richtigen Parameter aus;
3. Übermitteln Sie die Erstellungsanfrage und speichern Sie die Auftragsnummer;
4. Verwenden Sie Callbacks oder Polling, um asynchrone Zustände zu verarbeiten;
5. Sichere Wiederholungsversuche für Traffic-Limiting, Zeitüberschreitungen und Fehler;
6. Protokollieren Sie den Saldo, die Erfolgsrate und die Kosten pro Vermögenswert;
7. Nach dem Herunterladen wird die Inhalt- und Technikqualität überprüft.

Für welche Nutzer eignet sich Luma AI?

• Werbung und Kreativagenturen: Erstellung von Angeboten, Konzeptvideos und mehrteiligen Werbespots;
• Film- und Fernsehteam: Probenaufnahmen, Schlüsselframes und Konzepte für visuelle Effekte;
• Marken und E-Commerce: Erstellung von Produktempfern, visuellen Anpassungen und Kurzvideos;
• Designer: Erstellung von Charakteren, Szenen und Serienvisuals mit UNI;
• Social-Media-Team: Schnelle Anpassung an Quer-, Hoch- und Quadratformate;
• Späte Arbeit mit dem VFX-Team: Verwendung von HDR, EXR und dem Modify-Workflow;
• Entwickler: Erstellung von Systemen für die Massenerstellung von Kreationen über API und SDK.

Vorteile von Luma AI

• Ray3.2 umfasst Erstellung, Änderung, Schlüsselframes und Reframe;
• Der Workflow zur Konvertierung in 1080p mit mehreren Ebenen erleichtert die Kostenkontrolle.
• Bis zu 16 Schlüsselframes bieten eine starke Regiekontrolle;
• HDR und EXR können in professionelle Farbkorrekturen- und VFX-Prozesse eingebunden werden;
• UNI-1.1 integriert die Bildgenerierung mit multimodalen Referenzen;
• Luma Agents kann mehrstufige kreative Aufgaben koordinieren;
• Die offizielle API sowie die Python- und TypeScript-SDKs sind recht umfassend.

Einsatzbeschränkungen und Hinweise

• In AI-Videos können weiterhin Fehler in Bezug auf Gliedmaßen, Physik, Texte sowie Kontinuität auftreten;
• Modify kann nicht garantieren, dass die Details von Personen oder Produkten Pixel für Pixel beibehalten werden.
• Wenn die Unterschiede zwischen den Schlüsselbildern zu groß sind, können Sprünge sowie eine Veränderung der Identität auftreten.
• Der neu hinzugefügte Bereich ist eine Modellprognose und keine ursprüngliche Bildaufnahme;
• 1080p, Video-zu-Video, HDR und EXR verbrauchen viel Ressourcen;
• Die Tarife, Beschränkungen und Datenschutzrichtlinien der Drittanbieter-Modelle sind unterschiedlich.
• Hochwertige Kameras benötigen weiterhin Schnitt, Ton, Farbkorrektur und manuelle Überprüfung;
• Die Informationen zu Dream Machine, Ray2 und Photon in den alten Anleitungen sind veraltet.

Wirtschaftlicher Einsatz, Privatsphäre und Inhaltssicherheit

Die Plus-, Pro- und Ultra-Pläne beinhalten eine kommerzielle Nutzung. In den alten Dream Machine-API-Dokumenten wird ausdrücklich festgelegt, dass die API-Ausgaben für kommerzielle Zwecke verwendet werden dürfen – ohne Wasserzeichen. Die kommerzielle Lizenz umfasst jedoch keine Rechte an Porträts, Stimmen, Markenzeichen, Musik oder Referenzwerken, die der Nutzer nicht nutzen darf.

Die Urheberrechtsrechte an der erstellten Inhalte variieren je nach Region und dem Beitrag menschlicher Kreativität. Bei wertvollen Projekten sollten Eingaben, Prompt-Wörter, Schlüsselframes, Versionen sowie manuelle Nachbearbeitungen aufbewahrt werden, und es sollte eine Überprüfung auf Ähnlichkeiten sowie Drittrechte durchgeführt werden.

• Laden Sie nur eigene oder ausdrücklich lizenzierte Bilder und Videos hoch;
• Erstellung irreführender Synthesen, die identifizierbare Personen darstellen, ohne Zustimmung.
• API-Schlüssel werden ausschließlich auf der Serverseite gespeichert und mit Quoten sowie Warnungen versehen.
• Vertrauliche Kundendaten sollten mit Lösungen für Teams oder Unternehmen verwendet werden, die im Vertrag vorgesehen sind.
• Überprüfen Sie vor der Veröffentlichung Personen, Marken, Hintergrunddetails und sensible Inhalte;
• Gemäß den Plattform- und lokalen Vorschriften muss angegeben werden, ob etwas von KI erstellt oder verändert wurde.

Erklärungen zu API, GitHub und Open Source

Luma bietet eine API-Plattform für die aktuellen Agenten-, Ray- und UNI-Funktionen an und behält außerdem die alten Dream Machine REST-API-Dokumentationen bei. Die offizielle SDK unterstützt Python und TypeScript und bietet asynchrone Erstellung, Callbacks, Wiederholungsversuche sowie Abfrage des Kontostands.

Ray3.2, UNI-1.1, Luma App sowie deren Infrastruktur für die Ausführung von Berechnungen sind keine Open-Source-Produkte. Das offizielle SDK auf GitHub sowie einige Forschungsmodelle sind zwar öffentlich zugänglich, doch das bedeutet nicht, dass man die aktuellen kommerziellen Video- oder Bildmodelle herunterladen und in eigenen Systemen einsetzen kann.

Häufige Fragen

Wie heißt die Luma Dream Machine jetzt?

Offiziell wird der Verbraucherarbeitsbereich als Luma App bezeichnet, das Videomodell als Ray3.2. Dream Machine ist der alte Name; Ray2 und Photon sollten ebenfalls nicht mehr als aktuelle Modelle genannt werden.

Wie viel kostet Luma AI?

Die monatlichen Kosten für Plus, Pro und Ultra betragen jeweils 30, 90 und 300 US-Dollar. Die jährlichen Kosten liegen bei 300, 900 bzw. 3.000 US-Dollar. Für Team- und Enterprise-Lösungen wenden Sie sich bitte an den Verkauf.

Unterstützt Luma AI 1080p?

Unterstützt wird die Erstellung mit Ray3.2, die Bearbeitung von Videos sowie das Reframe – in allen Fällen in der 1080p-Auflösung. Hochauflösende Formate wie HDR und EXR erfordern im Vergleich zu Draft und 720p mehr Punkte.

Bietet Luma AI eine API an?

Entwickler können mithilfe der REST-API sowie der Python- und TypeScript-SDKs Asynchrone Erstellungsaufgaben erstellen. Die API nutzt ein eigenes System von Credit-Balancen – es handelt sich dabei nicht um eine individuelle Abonnementsstruktur.

Ist Luma AI open source?

Nein, die aktuelle Ray3.2-Version sowie die UNI-1.1-Modelle und die Hostplattformen sind nicht open source. Die Veröffentlichung der offiziellen SDKs und Forschungsrepositorien bedeutet nicht, dass die Kernprodukte open source sind.