Captions

Qu’est-ce que les légendes ?

Captions est une plateforme de génération et de montage vidéo par IA destinée aux créateurs de vidéos courtes, aux équipes marketing et aux services de contenu des entreprises. Initialement axée sur les sous-titres automatiques et l’édition via des applications mobiles, elle s’est depuis étendue à la génération de vidéos à partir de prompts, aux acteurs IA, aux doubles numériques personnels, au montage automatique, à la traduction de la voix off, à la synchronisation des lèvres, aux plans complémentaires génératifs, ainsi qu’à la musique et aux effets sonores.

Les utilisateurs peuvent soit importer des matériaux filmés par des personnes réelles pour que l’IA ajoute des sous-titres, élimine les pauses, agrandisse les plans, réduise le bruit et assure une mise en page visuelle, soit générer directement à partir d’un script des vidéos avec des acteurs générés par l’IA. La plateforme utilise actuellement simultanément les marques Captions et Mirage : Captions correspond à l’application de création et à l’expérience d’édition, tandis que Mirage représente ses modèles de base audiovisuels développés en interne, ses solutions professionnelles et ses capacités pour les développeurs.

AI Edit – Montage automatique

AI Edit peut analyser le contenu audio original pour ajouter automatiquement des sous-titres, des transitions, des effets de zoom, des images, des plans supplémentaires, de la musique et des effets sonores à toute la vidéo. Une fois que l’utilisateur a choisi le style visuel, le système crée une première version du montage, puis on peut retourner dans la timeline pour continuer à le modifier.

Cette fonction permet de transformer rapidement des vidéos de selfies ordinaires en contenus pour TikTok, Instagram Reels, YouTube Shorts et publicités dans le flux d’informations, mais les éléments sélectionnés automatiquement, le rythme et les mots clés n’étaient pas nécessairement en adéquation avec le ton de la marque. Avant publication, il convient de vérifier la signification visuelle, l’apparence du produit, les autorisations musicales, la ponctuation des sous-titres et les informations clés.

Chat pour l’édition interactive

Les solutions Max et supérieures offrent un éditeur dialogué permettant aux utilisateurs de demander des modifications aux montages en langage naturel, par exemple supprimer une séquence, changer le rythme, ajouter des sous-titres, remplacer le style visuel ou intégrer du matériel généré. Cela réduit la complexité des opérations sur la timeline et convient pour tester rapidement différentes versions.

Les instructions de dialogue peuvent encore affecter du contenu qui ne devrait pas être supprimé. Les vidéos commerciales importantes doivent conserver les matériaux originaux et les versions du projet, et être rejouées depuis le début après chaque modification en masse pour confirmation.

Sous-titres automatiques

Les sous-titres peuvent être générés automatiquement à partir de la transcription audio d’une vidéo, prenant en charge plus de 100 langues et plus de 100 styles de sous-titres. Les utilisateurs peuvent ajuster la police, les couleurs, le layout, les animations d’accentuation, l’affichage mot par mot et les émoticônes automatiques, puis exporter le contenu selon les dimensions des différentes plateformes sociales.

Les sous-titres sont généralement gravés directement sur l’image, ce qui convient à la vision en silence et à la diffusion de vidéos courtes. La reconnaissance vocale est affectée par l’accent, les voix superposées, le bruit, les termes spécialisés et les noms de personnes ; il est donc nécessaire de vérifier les termes, les chiffres, les noms de marques et la ponctuation.

Lorsqu’il est nécessaire de sous-titres accessibles ou de fichiers de sous-titres indépendants, il convient également de vérifier le lecteur cible et le format d’exportation.

Caméra et prompteur

La version mobile dispose d’une caméra intégrée et d’un prompteur, permettant aux utilisateurs d’enregistrer tout en consultant le script. AI Script peut générer un discours en fonction du thème, tandis qu’Eye Contact tente de corriger le regard pour que le locuteur ait l’air de fixer directement la caméra.

La correction du regard convient aux déviations légères ; on ne doit pas s’attendre à corriger des rotations de tête importantes, des obstacles ou des mouvements fréquents. Les scripts d’IA peuvent également fabriquer des données ; les promesses marketing, les conseils de santé, les informations juridiques et les paramètres du produit doivent être vérifiés manuellement.

Conversion de script AI Creator en vidéo

AI Creator peut générer une vidéo complète à partir d’une prompt ou d’un script existant. Une fois que l’utilisateur a choisi les acteurs IA, les voix et le style, le système crée une performance audio et un packaging visuel adaptés aux présentations de produits, aux tests publicitaires, à la diffusion de connaissances et au contenu social.

La vidéo générative n’est pas un modèle déterministe ; la même prompt peut donner lieu à différentes actions des personnages, scènes et rythmes. Lors de la création de publicités officielles, il convient d’abord d’établir des prompts réutilisables, des listes de contrôle de marque et des processus de validation, avant d’augmenter la production en série.

Acteurs IA et modèle Mirage

Captions propose des acteurs IA générés par le modèle Mirage, capables de synthétiser la voix, les expressions faciales, le regard, les mouvements et les lèvres en fonction du script. Par rapport aux solutions qui se contentent d’associer un audio à un avatar statique, son objectif est de créer conjointement une performance audiovisuelle plus naturelle.

Les acteurs IA ne sont pas des employés ou des experts réels ; il ne doit pas être suggéré que des personnages fictifs utilisent ou recommandent personnellement des produits. Les contenus relatifs à la santé, aux finances, au droit, à la politique et destinés aux mineurs nécessitent une divulgation et une vérification plus strictes.

Double IA, avatar numérique personnel

AI Twin permet aux utilisateurs de créer des doubles numériques à partir d’échantillons enregistrés par eux-mêmes ; il suffit ensuite d’entrer un nouveau script pour générer des vidéos ressemblant à celles où ils apparaissent. Actuellement, Max permet de créer jusqu’à 30 AI Twins, ce qui est idéal pour les fondateurs, les formateurs et les créateurs de contenu souhaitant produire en masse du contenu audiovisuel.

Créer un double numérique nécessite une autorisation claire de la personne concernée. L’équipe doit définir qui peut l’utiliser, sur quels canaux il peut être publié, s’il est autorisé d’utiliser des publicités commerciales, comment le désactiver en cas de départ d’un employé, ainsi que les procédures d’urgence en cas de fuite des comptes.

Le modèle peut imiter l’apparence et la voix, mais il ne peut pas remplacer la personne elle-même pour donner une garantie finale sur le contenu.

Publicités IA et sketches IA

La plateforme offre un accès rapide à la création d’annonces et de scénarios courts, permettant de créer plusieurs versions d’éléments accrocheurs, de personnages ou de performances en fonction des produits, des points forts et du script. Les équipes marketing peuvent l’utiliser pour tester différentes directions créatives et des tests A/B, sans avoir à refilmé chaque maquette.

La production en série ne signifie pas une mise sur le marché en masse. Chaque version doit faire l’objet d’une vérification des prix, des conditions de promotion, des images du produit, des politiques publicitaires de la plateforme, des autorisations liées aux personnages et de la cohérence de la page de destination, afin d’éviter la création de fonctionnalités inexistantes ou d’effets exagérés.

Doublage, traduction et Lipdub

Caption & Dub permet de traduire les sous-titres et de remplacer la voix. Selon les informations officielles, l’AI Dubbing prend en charge plus de 30 langues ;

Les Lipdubs plus avancés, en plus de traduire l’audio, reconstituent également les mouvements des lèvres du locuteur afin que la forme de la bouche corresponde à la langue cible.

Le Lipdub peut conserver les caractéristiques vocales de l’orateur original, tandis que la doublage classique peut utiliser une voix générée.

La localisation vidéo doit vérifier les noms propres, les unités de mesure, le format des dates, les mots interdits et les artefacts de mouvements labiaux. La clonage de la voix et la modification des mouvements labiaux ne peuvent être utilisés que pour des locuteurs autorisés, et ne doivent pas servir à créer des déclarations sans consentement.

AI Voiceover et clonage de voix

Les utilisateurs peuvent enregistrer des commentaires, utiliser diverses voix générées ou reprendre leurs propres caractéristiques vocales dans les fonctionnalités appropriées. Depuis la version Basic et ultérieures, il est possible d’utiliser divers modèles de voix tels que Google Chirp, ElevenLabs, Cartesia et OpenAI ; les modèles disponibles varient en fonction du forfait et de la région.

Les différents modèles présentent des performances différentes en chinois, en anglais, en termes d’émotion, de vitesse de parole et de terminologie spécialisée. Pour les projets formels, il convient d’écouter chaque phrase individuellement et de conserver les autorisations originales ainsi que des alternatives avec un commentaire humain.

Générer des images, des vidéos, de la musique et des effets sonores

Max et versions ultérieures permettent de créer des images dans l’éditeur, d’ajouter des vidéos, de la musique et des effets sonores.

La documentation officielle d’aide liste parmi les modèles optionnels Flux, Luma Photon, Stable Diffusion, Ideogram, Imagen, DALL-E, GPT-4o, Ray, Veo, Pika, Kling, MiniMax, Soundraw et ElevenLabs, etc. La liste réelle peut continuer d’évoluer.

L’entrée multi-modèles facilite la comparaison des styles, mais chaque génération consomme des Credits, et les modèles tiers présentent des restrictions de contenu ainsi que des différences de qualité. Les utilisateurs doivent néanmoins vérifier les droits d’auteur, les marques déposées, la similarité avec des personnes réelles et les licences commerciales.

Reddit to Video et contenu de lien

Les versions Basic et supérieures offrent des outils tels que Reddit to Video, qui permettent de transformer des posts ou du contenu web en vidéos courtes. L’adaptation automatisée aide à créer rapidement du matériel, mais le fait d’être visible publiquement ne signifie pas qu’il puisse être copié librement.

Les posts originaux, les images, les commentaires et les histoires peuvent encore être soumis aux droits d’auteur, à la vie privée et aux règles de la plateforme.

Capacités d’édition traditionnelles

En plus des fonctionnalités de génération, Captions offre également des outils tels que la coupe, le suppression automatique des espaces vides, le zoom, les keyframes, les transitions, le texte, l’overlay d’images, de la musique, des effets sonores, le réglage de la résolution, l’extraction audio, le bruit réduit, le muting des mots sensibles et des cartes de titre. La version gratuite permet d’utiliser une partie de l’édition de base sans watermark.

Il convient mieux aux applications mobiles rapides et aux flux vidéo sociaux, et n’est pas équivalent aux logiciels de montage non linéaire professionnels destinés aux longs métrages, avec plusieurs caméras, un coloriste complexe et un mixage audio précis.

Plateforme de support

• Éditeurs de navigateur web et de bureau ;
• Applications iOS pour iPhone et iPad ;
• Application Android ;
• Demande de test de l’API Mirage ;
• Espaces de travail partagés pour les équipes et services Enterprise.

Les abonnements et fonctionnalités des différentes plateformes ne sont pas entièrement compatibles. Android Lite ne peut être restauré et utilisé qu sur Android ;

Même avec le même compte qui permet de se connecter sur ordinateur ou iPhone, il faut Basic, Max ou Scale pour bénéficier des avantages payants correspondants sur ces plateformes.

Plan gratuit

Free permet de créer et d’exporter des projets de base, sans watermark, et offre la possibilité d’utiliser des sous-titres, une caméra, des fonctions de coupe, de zoom, du son, des médias, un commentaire audio, des transitions et des ajustements de format. Selon la documentation officielle, les nouveaux comptes peuvent recevoir de 60 à 200 Credits uniques pour toute la durée de leur utilisation, mais l’offre gratuite ne prend pas en charge la création de vidéos complètes, le montage automatique ni l’édition avancée par IA.

Les Credits à vie ne sont pas renouvelés mensuellement. Une fois que l’utilisateur utilise des fonctionnalités autres que le plan gratuit dans le projet, une mise à niveau pourrait être requise lors de l’exportation.

Comparaison des prix et des versions

Prix Lite

Lite est exclusif à Android, son prix actuel est de 4,99 dollars par mois, et il offre principalement la montée au montage manuelle sur mobile, les sous-titres et la traduction, la doublage vidéo, un prompteur, des scénarios IA, Eye Contact, le réduction du bruit, le découpage automatique et le traitement de bases des matériaux.

Lite ne peut pas restituer l’ensemble des fonctionnalités sur iOS et sur les ordinateurs, et ce n’est pas non plus une version économique des capacités de création vidéo de Max. Les utilisateurs multiplateformes doivent vérifier l’appareil de paiement et les fonctionnalités ciblées avant d’acheter.

Prix de base

Basic, anciennement Pro, coûte actuellement 9,99 dollars par mois et inclut 200 Credits renouvelés chaque mois, des exports sans watermark, Reddit to Video, la génération de scénarios, une caméra et un prompteur, Caption & Dub, ainsi que des outils d’édition IA tels qu’Eye Contact, le réduction du bruit, le traitement des mots sensibles, le zoom, la voix off, les titres, le texte et le découpage.

Basic convient aux créateurs individuels qui disposent déjà de matériel vidéo réel et ont principalement besoin de sous-titres et d’améliorations légères, mais il ne comprend pas les fonctionnalités de niveau Max telles que l’AI Creator, l’AI Twin, l’AI Edit ni les capacités complètes d’acteurs génératifs.

Prix Max

Actuellement, Max coûte 24,99 dollars par mois, avec 500 crédits par mois. Il inclut les fonctionnalités Free et Basic, ainsi que des fonctionnalités supplémentaires telles que Chat to Edit, AI Edit, acteurs Mirage, jusqu’à 30 jumeaux IA, AI Creator, médias génératifs, musique et effets sonores, et jusqu’à 2 tâches de génération vidéo en parallèle.

Max convient aux créateurs qui souhaitent utiliser de manière stable des acteurs IA et un montage automatique. La quantité de vidéos que l’on peut générer avec 500 Crédits dépend du modèle, de la durée, de la résolution et des fonctionnalités ; cela ne correspond pas directement à 500 minutes.

Prix Scale

Scale coûte actuellement 69,99 dollars par mois, avec 1400 Crédits par mois, et offre une génération plus rapide via AI Creator ainsi qu’une utilisation accrue. Scale 2x coûte 139,99 dollars par mois, avec 2800 Crédits.

Échelle 4x : 279,99 $ par mois, 5600 Crédits.

Scale convient aux agences de publicité et aux équipes de contenu à haute fréquence. Lors du choix du plan, il convient de se baser sur des tests réels du coût par vidéo, des tentatives de réessai en cas d’échec, des versions traduites et du nombre de connexions simultanées, plutôt que de se fier uniquement au nombre apparent de Crédits.

Solution d’entreprise Enterprise

Enterprise propose des tarifs sur mesure, incluant des réductions pour des quantités importantes de crédits, des postes personnalisés, une gestion client exclusive, une formation d’intégration, un support prioritaire et des tests de nouvelles fonctionnalités. La page de prix officielle indique également clairement une option d’exclusion des données d’entraînement ; les entreprises doivent inscrire dans le contrat le traitement des données, l’entraînement des modèles, la durée de conservation, la sécurité ainsi que les droits sur le contenu généré.

Abonnement annuel, résiliation et crédits

Basic, Max et Scale proposent des abonnements mensuels ou annuels, avec une remise automatique pour le paiement annuel par rapport au paiement mensuel sur 12 mois ; le montant exact est indiqué sur la page de facturation du compte. La documentation d’aide indique que l’abonnement peut être résilié à tout moment, mais la résiliation ne bloque généralement que la renouvellement du prochain cycle et ne signifie pas que les périodes déjà payées seront remboursées proportionnellement.

Les crédits payants sont renouvelés chaque mois selon le forfait, tandis que les quelques crédits gratuits sont généralement utilisables une seule fois. La création d’acteurs, l’ajout de plans supplémentaires, la musique, les effets sonores et différents modèles consomment des quantités variables ; refaire les choses à plusieurs reprises augmente également le coût.

Les anciens clients Teams ou Business peuvent obtenir des places supplémentaires et des crédits de top-up, selon les avantages de leur compte.

Mirage API

L’API Mirage est conçue pour la génération programmée de vidéos parlées réalistes ; elle permet de créer des vidéos à partir de scénarios, d’images de référence ou d’ID d’Acteur, de consulter les tâches via une interface d’état, et de télécharger les résultats une fois la création terminée. Elle est adaptée aux variantes publicitaires, à la formation, aux démonstrations de produits, ainsi qu’à l’intégration avec des présentateurs virtuels et des outils de création.

La documentation officielle actuelle qualifie l’API de version Early Access Beta nécessitant une demande, et tous les abonnés à Captions n’y ont pas automatiquement accès. Avant le développement, il convient de confirmer l’accès, les prix des Crédits, les limitations de débit, la concurrence en parallèle, la modération du contenu, les appels de retour, la conservation des données et le niveau de service.

Est-ce open source ?

L’application Captions, le modèle Mirage, les acteurs IA et les systèmes de génération ne sont pas des projets open source, et il n’existe pas de version complète auto-hébergée officiellement disponible. Les projets de sous-titres ayant des noms similaires sur GitHub ne représentent pas le code source officiel de Captions.

Le fait qu’une API soit callable ne signifie pas pour autant que la plateforme est open source.

Guide d'utilisation des légendes

Terminer une tâche de base

1. Déterminer le public cible, la plateforme, l’aspect, la durée et les informations à communiquer ;
2. Préparer des scripts, des plans ou des matériaux de référence autorisés dans Captions ;
3. Sélectionnez AI Edit pour une montage automatique et la création d’une prévisualisation à faible coût ;
4. Utilisez l’édition interactive Chat to Edit pour ajuster l’image, le rythme, les sous-titres et le son ;
5. Vérifier frame par frame les personnages, le texte, le logo, la forme des lèvres et l’exactitude factuelle ;
6. Exporter selon les spécifications ciblées après confirmation de l’autorisation pour la musique, les portraits et les matériaux ;

Créer des flux de travail professionnels réutilisables

1. Créer des scripts, des fiches de tournage, des matériaux de marque et une liste d’éléments interdits ;
2. Unifier les paramètres pour le montage automatique d’AI Edit, l’édition interactive Chat to Edit et l’enregistrement automatique des sous-titres ;
3. Testez d’abord le modèle et les limites avec des scènes représentatives ;
4. Transférer les plans ratés pour un montage manuel ou une régénération ;
5. Unifier les sous-titres, le volume, les couleurs et les informations de droits d’auteur en fin de film ;
6. Enregistrez la version et l’auditeur avant de publier en masse ;

À qui s’adresse-t-il ?

• Créateurs qui produisent des vidéos courtes avec voix off et du contenu pour leur marque personnelle ;
• Équipes marketing qui ont besoin de tester rapidement plusieurs idées publicitaires ;
• Débutants en montage qui souhaitent ajouter des sous-titres dynamiques, du réduction de bruit et un packaging visuel à leurs vidéos ;
• Équipe chargée de traduire la même vidéo en plusieurs langues et de synchroniser les lèvres ;
• Espérer réduire le nombre de conférenciers et de fondateurs qui apparaissent à plusieurs reprises grâce aux jumeaux IA ;
• Équipe de produits qui génère en masse des vidéos d’avatars numériques via une API.

Avantages du produit

• De la prise de vue, du prompting, des sous-titres à la génération et à l’exportation par IA, tout est regroupé dans une seule application.
• AI Edit permet de finaliser rapidement l’ensemble de la mise en forme d’une vidéo sociale ;
• Les sous-titres automatiques prennent en charge plus de 100 langues et de nombreux styles visuels ;
• AI Twin, acteurs Mirage, doublage et Lipdub : le processus complet pour des personnages numériques ;
• Il est possible d’appeler dans l’éditeur divers modèles populaires pour les images, vidéos, voix et musique ;
• L’édition de base gratuite ne comporte pas de watermark, tandis que les versions payantes offrent des sous-titres légers jusqu’à une génération à grande échelle avec une qualité plus élevée.

Restrictions et précautions

• Les fonctionnalités avancées des légendes dépendent des Crédits ; la création de vidéos, l’ajout de plans supplémentaires, la traduction et les itérations répétées peuvent épuiser rapidement ces crédits.
• AndroidLite se distingue d’iOS et des solutions Web ; on ne peut pas supposer que l’abonnement est valable sur plusieurs plateformes simplement parce qu’on se connecte avec le même compte.
• Les sous-titres automatiques, la traduction, la correction des regards, la synchronisation des lèvres et AIEdit peuvent tous entraîner des erreurs de reconnaissance ou visuelles ;
• AITwin, le clonage de voix et les acteurs réalistes présentent des risques liés à l’identité et à la tromperie ; il est nécessaire d’obtenir une autorisation et de respecter les exigences de marquage des contenus synthétiques imposées par la plateforme de publication.
• L’API est encore en phase de test de demande ;
• Les longs métrages professionnels, l’audio multi-canaux, le color grading complexe et les projets avec plusieurs caméras peuvent encore nécessiter des logiciels de montage traditionnels sur ordinateur ;

Questions fréquentes

Les légendes sont-elles gratuites ?

Il existe une version gratuite qui permet d’ajouter des sous-titres de base, de filmer, de couper, de zoomer, d’ajouter un commentaire audio, de changer de plan et d’exporter sans watermark, mais les fonctionnalités complètes de génération par IA, d’édition par IA et de création automatique de vidéos nécessitent un abonnement payant.

Combien coûtent les légendes ?

Android Lite : 4,99 dollars par mois ; Basic : 9,99 dollars par mois, 200 Crédits ;

Max coûte 24,99 dollars par mois et offre 500 crédits ; Scale coûte 69,99 dollars par mois et offre 1400 crédits, avec également des options pour une consommation doublée ou quadruplée ainsi qu’un plan sur mesure Enterprise.

Où est le forfait Pro ?

Pro a été renommé Basic ; selon les informations officielles, les fonctionnalités et les prix restent inchangés. Le Pro mentionné dans les anciennes critiques correspond au actuel Basic, et non à Max.

Les sous-titres peuvent-ils ajouter automatiquement des sous-titres en chinois ?

Il prend en charge la transcription automatique et les sous-titres multilingues, mais les noms de personnes en chinois, les marques, les chiffres et les termes techniques nécessitent encore une correction manuelle. Les sous-titres peuvent être gravés directement sur la vidéo et leurs styles peuvent être personnalisés.

À quoi sert AI Edit ?

Il analyse les vidéos parlées et ajoute automatiquement des sous-titres, des transitions, des effets de zoom, des éléments visuels, de la musique et un style visuel, afin de générer rapidement une première version du filmable encore editable.

Les légendes prennent-elles en charge la traduction vidéo ?

Prend en charge la traduction des sous-titres, le doublage par IA et le Lipdub. Le doublage remplace la voix traduite, tandis que le Lipdub ajuste également les mouvements des lèvres pour qu’ils correspondent à la langue cible.

Y a-t-il une API pour les légendes ?

Il existe des documents API Mirage, mais il est actuellement nécessaire de demander un accès précoce en version bêta. Elle permet de générer de manière programmée des vidéos avec des voix off à partir de scripts, d’images de référence ou d’ID d’acteurs.

Les légendes sont-elles open source ?

Pas de code source ouvert. Ses applications, les acteurs IA et le modèle de base Mirage sont tous des services cloud commerciaux ; le dépôt de sous-titres du même nom en ligne n’est pas le code source officiel de la plateforme.