Luma Dream Machine

Qu’est-ce que Luma AI ?

Luma AI est une plateforme de production de vidéos, d’images et de contenus en plusieurs étapes destinée aux équipes créatives. Elle permet de partir de texte, d’images, de matériel de référence ou de vidéos existantes pour mener à bien l’exploration des concepts, la création de plans, les modifications visuelles et la livraison des éléments finaux.

De nombreux utilisateurs recherchent encore ce produit sous le nom de Dream Machine, mais la société l’estime désormais comme un nom obsolète. L’espace de travail actuel pour les consommateurs s’appelle Luma App, le modèle vidéo actuel est Ray3.2, et les modèles d’images et multimodaux sont UNI-1.1.

Fonctionnalités principales de Luma AI

• Ray3.2 prend en charge la génération de vidéos à partir de texte et de photos ;
• Modify Video V2 permet de redessiner les performances existantes, l’environnement, les costumes et le style visuel ;
• Multi-Keyframe permet de contrôler un seul segment avec jusqu’à 16 keyframes ;
• Reframe permet de modifier les vidéos existantes pour en changer le format tout en conservant le mouvement et la performance ;
• Prend en charge la génération en plusieurs résolutions : Draft, 540p, 720p et 1080p ;
• HDR natif, couleur 16 bits et sortie EXR adaptés au color grading et aux processus VFX ;
• UNI-1.1 prend en charge le texte, les images de référence, la compréhension de plusieurs images et l’édition d’images ;
• Luma Agents peut planifier, générer, itérer et gérer le contexte du projet ;
• La plateforme intègre des modèles tiers de vidéo, d’image et d’audio ;
• L’API officielle ainsi que les SDK pour Python et TypeScript conviennent à l’automatisation de la production.

Génération de vidéos Ray3.2

Ray3.2 est le modèle vidéo actuel de Luma, utilisé pour la génération de vidéos à partir de texte, de images, ainsi que pour des workflows vidéo contrôlés. Il met l’accent sur la continuité des plans, les capacités de direction créative et une production scalable, plutôt que de ne produire que des vidéos courtes uniques.

L’utilisateur peut d’abord explorer la composition et le mouvement à bas coût en mode Brouillon, puis générer la version sélectionnée en 540p, 720p ou 1080p. Plus la résolution et la durée sont élevées, plus la consommation de points augmente significativement.

Modify Video V2

Modify Video permet de repenser des matériaux vidéo existants, qu’il s’agisse de personnes réelles ou d’animations, en modifiant l’arrière-plan, les vêtements, l’apparence des personnages, l’éclairage et le style général, tout en conservant autant que possible la performance originale et les mouvements de caméra. Actuellement, il prend en charge des flux d’environ 20 secondes maximum en résolution 1080p.

La modification ne s’effectue pas par une synthèse traditionnelle pixel par pixel ; les petits accessoires, les mains, les obstacles et les mouvements rapides peuvent encore changer. Les projets professionnels nécessitent un contrôle frame par frame et la conservation du film original en tant que référence pour la synthèse.

Plusieurs cadres clés et continuité de la caméra

Multi-Keyframe permet d’ajouter jusqu’à 16 keyframes à une seule séquence, afin de contrôler les personnages, la composition, les mouvements et les changements de scène. Des sauts peuvent encore survenir lorsque la différence entre les keyframes est trop grande ; il convient de maintenir des relations spatiales et un style visuel permettant d’interpréter le contenu.

Reframe et formats multiplateforme

Reframe n’est pas une simple coupe, mais une complémentation de l’image selon un nouveau format, en veillant autant que possible à préserver le mouvement, la composition et les expressions faciales. Il convient pour transformer des publicités horizontales en vidéos courtes verticales, en contenus sociaux carrés ou dans d’autres proportions de livraison.

Les nouvelles zones sont déduites par l’IA, ce qui peut entraîner des objets et des bords non conformes à la scène d’origine. Les éléments de marque, les sous-titres et les détails des produits doivent être réexaminés après la reconstruction.

Sortie professionnelle HDR et EXR

Ray3.2 peut générer de l’HDR et exporter en 16-bit EXR, offrant ainsi plus de marge de manœuvre en post-traitement pour le color grading, les effets visuels et la transmission à grande dynamique de gamme. L’intégration HDR est calculée en fonction d’un multiple du SDR de base, ce qui entraîne des coûts plus élevés pour l’HDR+EXR.

Une sortie en haute résolution n’a de valeur que si elle est intégrée dans un processus de post-traitement avec une gestion des couleurs correcte. Pour les publications sociales ordinaires, on peut d’abord utiliser SDR ou une prévisualisation en basse résolution pour réduire les coûts inutiles.

Images UNI-1.1 et création multimodale

UNI-1.1 est le modèle d’image actuel et multimodal de Luma, qui prend en charge la génération d’images à partir de texte, la guidance par référence, le complétion de scènes et le contrôle de plusieurs images. Il convient de créer d’abord les personnages, les produits, l’environnement et les éléments visuels clés, avant de les confier à Ray pour la création de plans dynamiques.

Luma Agents et les modèles tiers

Luma Agents est capable de comprendre les objectifs d’un projet, de sélectionner des actions de création, de modification et d’organisation au fil des étapes, tout en conservant le contexte créatif. Luma App intègre également certains modèles vidéo, d’images et audio tiers, permettant aux équipes de comparer différentes sorties pour un même projet.

Les capacités, les tarifs et les conditions de données des modèles tiers peuvent varier ; il ne faut pas considérer toutes les générations comme étant issues de Ray ou UNI. Avant de choisir un modèle, il convient de vérifier son nom, ses critères d’intégration et ses exigences commerciales.

Comparaison des capacités de Luma AI

Prix de Luma AI

Luma App propose des forfaits personnels Plus, Pro et Ultra ; pour les options Team et Enterprise, veuillez contacter le service des ventes. Le tableau ci-dessous indique les prix actuels en dollars sur le site officiel, avec un paiement unique pour l’abonnement annuel et un tarif mensuel avantageux correspondant.

Consommation de points Ray3.2

Les anciennes versions telles que Ray3.14 ou les modèles rapides, les images UNI ainsi que les modèles tiers ont chacun leurs tarifs respectifs. Le tableau de calcul des points peut varier en fonction des mises à jour des modèles ; il convient de calculer le coût unitaire et le coût total du lot sur la page de génération avant la production en série officielle.

Guide d'utilisation de Luma AI

Générer des plans professionnels à partir de concepts

1. Déterminer l’usage de la caméra, les proportions, la durée, la résolution et la livraison des couleurs ;
2. Décrire le sujet, le cadre, l’action, l’angle de prise de vue, la lumière et le rythme ;
3. Créez d’abord des images clés de personnages, de produits ou d’environnements à l’aide de UNI ;
4. Créer plusieurs plans d’entraînement à faible coût avec Draft ;
5. Choisir la version la plus stable en termes de composition et de performance ;
6. Ajouter des images clés ou des images de référence pour corriger la continuité ;
7. Enfin, générer une version en haute définition ou HDR et passer à la post-production.

Redessiner les éléments photographiques avec Modify

1. Choisir une version originale avec une performance claire, une stabilité de mouvement et des droits complets ;
2. Couper en segments courts supportés par le modèle ;
3. Télécharger des références de personnages, de costumes ou d’environnements ;
4. Déterminer quels mouvements, compositions et identités doivent être conservés ;
5. Testez d’abord l’intensité de redessin en basse résolution ;
6. Vérifier frame par frame la main, les obstacles, les bords et le visage ;
7. Exporter la version sélectionnée, la combiner avec le film original, ainsi que pour le son et le color grading.

Génération en masse via l’API

1. Créer une clé serveur sur la plateforme Luma API et effectuer un rechargement ;
2. Sélectionner le modèle actuel, la tâche et les paramètres corrects ;
3. Soumettre la tâche de génération et enregistrer le numéro de tâche ;
4. Utiliser des appels en retour ou de la pollination pour gérer les états asynchrones ;
5. Mettre en œuvre des tentatives de réessai sécurisées pour le throttling, les délais d’attente et les échecs ;
6. Enregistrer le solde, le taux de réussite et le coût de chaque actif ;
7. Après le téléchargement, une vérification de la qualité du contenu et technique est effectuée.

À quels utilisateurs Luma AI convient-il ?

• Agences de publicité et de création : élaboration de propositions, de vidéos conceptuelles et d’annonces à plusieurs plans ;
• Équipe de production vidéo : prises de vue de répétition, frames clés et plans pour les effets visuels ;
• Marque et e-commerce : création d’environnements de produits, de variations visuelles et de vidéos courtes ;
• Concepteur : Créer des personnages, des scènes et une identité visuelle de série à l’aide de UNI ;
• Équipe des réseaux sociaux : adaptation rapide pour des contenus en format horizontal, vertical et carré ;
• Collaboration ultérieure avec l’équipe VFX : utilisation de HDR, EXR et du flux de travail Modify ;
• Développeur : Construire des systèmes de création en masse via des API et des SDK.

Les avantages de Luma AI

• Ray3.2 couvre la génération, la modification, les keyframes et le Reframe ;
• Le flux de travail en couches pour passer à 1080p facilite le contrôle des coûts ;
• Jusqu’à 16 cadres clés offrent un contrôle directorial plus poussé ;
• HDR et EXR peuvent être utilisés dans les processus de colorisation professionnelle et de VFX ;
• UNI-1.1 intègre la génération d’images et des références multimodales ;
• Luma Agents peut coordonner des tâches créatives à plusieurs étapes ;
• L’API officielle ainsi que les SDK pour Python et TypeScript sont assez complets.

Restrictions d'utilisation et précautions

• Les vidéos d’IA peuvent encore présenter des erreurs de membres, physiques, de texte et de continuité ;
• Modify ne peut pas garantir la conservation des détails des personnes ou des produits au niveau de chaque pixel ;
• Lorsque la différence entre les frames clés est trop importante, des sauts et un décalage d’identité peuvent survenir ;
• La nouvelle zone de Reframe est une inférence du modèle, et non l’image originale ;
• 1080p, Video-to-Video, HDR et EXR consomment beaucoup de ressources ;
• Les tarifs, les restrictions et les politiques de données des modèles tiers ne sont pas identiques ;
• Les plans de haute qualité nécessitent encore le montage, le son, le coloriste et une vérification manuelle ;
• Les informations concernant Dream Machine, Ray2 et Photon dans les anciens tutoriels sont obsolètes.

Utilisation commerciale, vie privée et sécurité du contenu

Les abonnements Plus, Pro et Ultra incluent une utilisation commerciale ; les anciens documents de l’API Dream Machine précisent également que les sorties API peuvent être utilisées à des fins commerciales sans watermark. La licence commerciale ne couvre pas les portraits, sons, marques déposées, musiques ou œuvres de référence dont l’utilisation n’est pas autorisée aux utilisateurs.

Les droits d’auteur sur le contenu généré varient en fonction de la région et de la contribution créative humaine. Les projets à haute valeur doivent conserver les entrées, les prompts, les keyframes, les versions et le montage manuel, et il convient d’examiner les similitudes ainsi que les droits de tiers.

• Ne téléchargez que des images et des vidéos qui vous appartiennent ou pour lesquelles vous disposez d’une autorisation explicite ;
• Ne pas créer de synthèses trompeuses permettant d’identifier des personnes réelles sans leur consentement ;
• Les clés API ne sont stockées que du côté serveur, avec des quotas et des alertes configurés ;
• Les matériaux clients confidentiels doivent être utilisés avec des solutions d’équipe ou d’entreprise conformes au contrat ;
• Vérifier avant la publication les détails concernant les personnages, les marques, le contexte et le contenu sensible ;
• Révéler si le contenu a été généré ou modifié par l’IA, conformément aux règles de la plateforme et locales.

API, GitHub et explications sur le logiciel open source

Luma propose une plateforme API pour les capacités actuelles d’Agent, Ray et UNI, tout en conservant la documentation de l’ancienne API REST de Dream Machine. Le SDK officiel prend en charge Python et TypeScript et offre des fonctionnalités de génération asynchrone, de rappels, de tentatives répétées et de consultation du solde.

Ray3.2, UNI-1.1, Luma App ainsi que leur inférence hébergée ne sont pas des produits open source. Le SDK officiel sur GitHub et certains modèles de recherche sont publics, mais cela ne signifie pas qu’il est possible de télécharger et d’installer en interne les modèles commerciaux actuels pour vidéo ou image.

Questions fréquentes

Comment s’appelle maintenant la Luma Dream Machine ?

Les autorités désignent actuellement l’espace de travail pour les consommateurs sous le nom de Luma App, et le modèle vidéo est Ray3.2. Dream Machine est un ancien nom ; Ray2 et Photon ne doivent plus être présentés comme des modèles en usage.

Combien coûte Luma AI ?

Les abonnements Plus, Pro et Ultra sont de 30, 90 et 300 dollars par mois, respectivement, et de 300, 900 et 3 000 dollars par an. Pour Team et Enterprise, veuillez contacter le service des ventes.

Luma AI prend-il en charge 1080p ?

Soutien : Ray3.2 permet de générer, de modifier des vidéos et de reframer, avec une version 1080p correspondante pour chacune. La haute définition, HDR et EXR consomment plus de points que Draft en 720p.

Luma AI propose-t-elle une API ?

Les développeurs peuvent utiliser l’API REST ainsi que les SDK Python et TypeScript pour créer des tâches de génération asynchrone. L’API utilise un système de crédits indépendant, et non un niveau d’abonnement personnel.

Luma AI est-il open source ?

Non, les modèles actuels Ray3.2 et UNI-1.1, ainsi que la plateforme de hébergement, ne sont pas open source. Le fait que les SDK officiels et les dépôts de recherche soient publics ne signifie pas pour autant que le produit principal soit open source.