Montage fantôme

Qu’est-ce que le montage Ghost Hand ?

GhostCut, dont le nom en anglais est GhostCut, est une plateforme intégrée d’IA pour la sous-titrage et la localisation, conçue pour les séries courtes, le e-commerce, les réseaux sociaux, les cours éducatifs et les vidéos marketing destinées à un public international. Elle regroupe dans un même flux de travail en ligne la reconnaissance des sous-titres et leur insertion, la révision de la traduction, l’élimination des sous-titres originaux, le marquage des différents personnages, la doublage par IA, le clonage de la voix, le traitement de la musique de fond et le rendu final, réduisant ainsi les étapes de transfert répétitif entre les logiciels de transcription, de traduction, de traitement vocal et de montage.

La fonction principale de GhostHand est plutôt celle d’« outil de localisation vidéo par IA et de doublage en masse », et non un modèle vidéo universel capable de générer directement des images complètes à partir de prompts textuels. Il peut traiter une vidéo créée individuellement, mais offre également une gestion de projet, le traitement en masse de centaines de fichiers ainsi que des API, ce qui le rend adapté aux équipes ayant besoin de livrables multilingues à grande échelle.

Fonctionnalités clés

1. Traduction et doublage vidéo par IA

L’utilisateur peut télécharger des vidéos locales ou coller des liens vers des vidéos sur des plateformes sociales compatibles, puis choisir la langue source, la langue cible, ainsi que les options de sous-titres, de doublage et de musique de fond avant de soumettre. Le système extrait la voix humaine grâce à l’ASR, effectue la traduction, le doublage par IA et la synchronisation audio-visuelle ; il peut également supprimer les sous-titres originaux et en ajouter de nouveaux dans la même tâche.

La page du produit indique actuellement qu’il prend en charge plus de 40 langues cibles, avec des doublages disponibles dans des dizaines de langues et régions telles que l’Europe et les États-Unis, le Japon, la Corée, ainsi que l’Asie du Sud-Est. La disponibilité des différentes langues, timbres de voix et fonctionnalités n’est pas identique pour toutes ; avant une production en série officielle, il convient d’effectuer des tests avec des échantillons réels afin d’évaluer les accents, les noms propres, le ton et la chronologie.

2. Extraction des sous-titres, encodage et traduction

La plateforme combine ASR et OCR : l’ASR est adapté à l’extraction des dialogues à partir de voix claires, tandis que l’OCR permet de reconnaître les sous-titres visuels, en particulier pour les vidéos sans voix claire ou où il est nécessaire de conserver les informations des sous-titres originaux. Le site officiel indique que la reconnaissance prend en charge plus de 100 langues et est optimisée pour gérer le bruit, les perturbations visuelles et le traitement de gros volumes de contenu.

La reconnaissance automatique peut encore se tromper dans l’identification des noms de personnes, des marques, des chiffres, des dialectes et des bruits de fond. Il convient de vérifier le texte original, la traduction et la chronologie dans l’éditeur en ligne avant d’entrer dans les étapes de doublage et de rendu, afin d’éviter que les erreurs de reconnaissance ne s’amplifient progressivement.

3. Relecture de traduction par grands modèles

Le montage GhostHand utilise actuellement des modèles tels que DeepSeek, associés à un processus de traduction et de révision par plusieurs agents, en se concentrant sur le contexte, la cohérence terminologique et la naturalité de l’expression. Pour les séries courtes et les séries télévisées, la plateforme met également l’accent sur la reconnaissance multimodale des personnages, des voix et du texte entre épisodes, afin de réduire les incohérences dans le nom ou la voix d’un même personnage dans différents segments.

La révision par l’IA ne peut pas remplacer un traducteur natif. Les promesses marketing, les informations clés de l’intrigue, le jargon juridique, le contenu médical, les tabous culturels et les mots sensibles aux plateformes doivent être revus par des personnes du marché cible ;

L’humour, l’ironie et les relations entre les personnages d’une même phrase peuvent également être mal interprétés en l’absence de contexte narratif.

4. Sous-titres invisibles, suppression de texte et de filigranes

La détection automatique du texte permet d’identifier et de supprimer les sous-titres fixes, les listes de noms, les titres, les filigranes textuels et les logos, puis d’utiliser un modèle de réparation d’image pour compléter l’arrière-plan ; le mode Pro avec sélection permet de définir des zones, des objets et des plages temporelles, ce qui est idéal pour déplacer des éléments ou gérer des images complexes.

L’effacement des sous-titres peut être soumis en même temps que la traduction vidéo, et il est également possible de traiter en masse jusqu’à 100 vidéos à la fois.

L’effet d’effacement est influencé par l’amplitude du mouvement, la transparence, les textures complexes, les obstacles et les changements de focale ; des zones détaillées peuvent présenter des effets de flou, de scintillement ou des erreurs de reconstruction du fond. Plus important encore, le fait que cela soit techniquement possible ne signifie pas qu’il est possible d’effacer l’identité d’autrui ou de républier ses œuvres ; l’utilisateur doit posséder les droits d’auteur sur le matériel ou avoir obtenu une autorisation.

5. Reconnaissance de multiples personnages, doublage par IA et clonage de voix

Le processus de doublage professionnel extrait automatiquement les dialogues et identifie les différents interlocuteurs. L’utilisateur peut ajuster en ligne les étiquettes des personnages, choisir un timbre de voix pour chaque personnage, puis générer le doublage. La plateforme propose différentes qualités telles que classique, ultra-réaliste et clone à forte expression émotionnelle, et permet de conserver les sons d’arrière-plan, de contrôler la piste audio originale et de créer des versions avec plusieurs personnages.

La clonage de voix ne peut être utilisé qu’avec sa propre voix ou une voix pour laquelle une autorisation explicite a été obtenue. Il est interdit de se faire passer pour autrui, de falsifier des attestations, de créer des messages frauduleux ou de contourner les exigences relatives à l’identification de la plateforme.

Lorsque des voix d’acteurs, de présentateurs, de employés et de clients sont impliquées, il convient de conserver la portée de l’autorisation, la durée d’utilisation et le mécanisme de retrait.

6. Éditeur de sous-titres en ligne

L’éditeur de sous-titres en ligne gratuit permet de visualiser simultanément le texte original et la traduction, de modifier le contenu des sous-titres et la timeline, de traduire des fichiers SRT en masse, et d’indiquer automatiquement les interlocuteurs. Une fois la révision terminée, il est possible de continuer l’animation des voix, de supprimer des éléments ou de générer des fichiers, ainsi que de télécharger des fichiers de sous-titres tels que SRT.

La longueur des sous-titres doit correspondre à la vitesse de lecture de la langue cible. Lorsque le chinois est traduit en anglais, en espagnol ou dans d’autres langues, il devient généralement plus long ; il est donc nécessaire d’intervenir manuellement pour ajuster la ponctuation, le nombre de caractères par ligne et le temps d’affichage, afin d’éviter que le texte ne masque l’image ou que les spectateurs n’aient pas le temps de le lire.

7. Musique de fond et traitement des pistes audio

Pour la traduction vidéo, on peut choisir de conserver la piste audio originale en silence, de garder la musique de fond et les effets sonores non vocaux, ou de faire correspondre une musique grâce à l’intelligence artificielle. La musique générée intelligemment analyse les changements dans l’image et le rythme pour trouver une musique parmi des titres libres de droits.

La plateforme propose également des solutions de musique de fond qui peuvent remplacer celles susceptibles de poser des problèmes de droits d’auteur.

« Sans redevance » ne signifie pas qu’il n’y a pas de conditions d’autorisation. Avant de publier sur YouTube, TikTok, des plateformes publicitaires ou des chaînes de clients, il convient de s’assurer que l’autorisation musicale couvre la diffusion commerciale, la région, la durée et le compte, et de conserver les preuves d’autorisation.

8. Commentaires par IA et reconstitution vidéo

La narration par IA peut comprendre des extraits de films, des interviews, des émissions variées ou des scénarios courts téléchargés, rédiger automatiquement les dialogues de narration et effectuer un montage de base. La reconstitution vidéo s’adresse aux longues interviews, aux rediffusions en direct et aux vidéos de marketing existantes ; elle permet d’extraire les moments forts, de réécrire le texte et de générer des extraits adaptés aux plateformes de vidéos courtes.

Ces fonctionnalités conviennent à la création de premiers drafts et aux tests de plusieurs versions ; il ne faut pas utiliser sans autorisation des extraits audiovisuels protégés par le droit d’auteur pour des commentaires, des transferts ou une diffusion commerciale. Le choix des moments forts, l’énoncé des faits, la sémantique du montage et l’étendue des citations nécessitent encore une vérification manuelle.

9. Traduction d’images et suppression de texte

En plus des vidéos, GhostHand Editing propose également la traduction d’images pour le e-commerce, ainsi que l’effacement automatique et la correction de texte sur les images. La traduction d’images peut être utilisée pour localiser les images de produits sur Amazon, Shopify, eBay, TikTok et d’autres plateformes.

Effacer prend en charge la détection de plus de 100 langues, le texte incliné et le texte vertical, et tente de préserver le texte sur l’objet lui-même.

Le remplissage automatique peut modifier la taille du texte, les sauts de ligne, le nom de la marque et les étiquettes des produits. Avant de les mettre en vente, il convient de vérifier les spécifications, les prix, les déclarations de conformité ainsi que les informations d’emballage ; il est interdit d’utiliser les résultats générés pour masquer le produit réel ou de fabriquer des certifications fictives.

Gestion de projet et traitement par lots

La station de travail du projet est utilisée pour gérer des vidéos, des sous-titres, de l’audio et des produits finis multilingues, et permet de télécharger, de traiter et de traduire en même temps de grandes quantités de matériel. Selon la section des fonctionnalités du site officiel, une seule tâche peut traiter jusqu’à 100 vidéos, tandis que le processus de doublage pour les entreprises permet de gérer des contenus encore plus importants selon la gestion de projets.

Les tâches en batch consomment rapidement des points, et une erreur dans les sous-titres originaux peut se propager à toutes les versions linguistiques. L’équipe doit d’abord créer un glossaire, une liste des personnages et des critères de contrôle aléatoire, valider avec un petit nombre d’échantillons avant de soumettre l’ensemble, et conserver la correspondance entre le film original, les sous-titres et la version finale.

Exporter les fichiers d’ingénierie

Une fois la traduction terminée, il est possible de prévisualiser et de télécharger la vidéo sans watermark de plateforme ; on peut également télécharger séparément les fichiers SRT, le son, la musique, etc. Le site officiel indique également que des fichiers de projet tels que ceux de CapCut peuvent être exportés, ce qui facilite l’ajustement ultérieur du style des sous-titres, des plans, du volume et de la mise en page finale dans des logiciels de montage professionnels.

La compatibilité des fichiers d’ingénierie peut être affectée par la version du logiciel, les polices, les licences de sons et les chemins des matériaux locaux. Avant la livraison, il convient de les rouvrir dans le logiciel cible pour vérification, et d’archiver légalement les polices, les fichiers audio et les matériaux.

API et accès aux entreprises

L’API d’édition GhostHand est ouverte, permettant d’intégrer des fonctionnalités telles que la suppression silencieuse des sous-titres, la traduction de vidéos, les commentaires en un clic, la traduction d’images et l’effacement d’images. Les étapes d’intégration indiquées sur la page des abonnés du site comprennent l’activation du service, l’obtention de clés, l’achat de cartes de points et l’intégration par code ; l’API utilise la même logique de débit en points que le côté site.

L’API convient aux plateformes de contenu centralisées, aux systèmes de diffusion de séries courtes et aux pipelines de matériel e-commerce. Les parties prenantes doivent protéger les clés, gérer le téléchargement, les appels de retour, les tentatives de réessai en cas d’échec, l’idempotence, les alertes de consommation et le nettoyage des résultats, et vérifier le nombre de connexions simultanées, la limite de taille des fichiers, la région de stockage des données ainsi que les conditions du contrat de service entreprise.

Version gratuite, abonnements et prix en points

Ghost Hand Editing propose une version d’essai gratuite, des abonnements à différents niveaux, des cartes prépayées ainsi que des solutions commerciales pour les entreprises. Le compte gratuit permet actuellement de visualiser jusqu’à 15 secondes par vidéo, 400 MB par fichier, 100 MB d’espace de stockage en cloud et de conserver les créations pendant 7 jours.

Les différents niveaux de paiement permettent d’augmenter la durée d’un vidéo à 6 minutes ou 15 minutes, de porter la limite de taille du fichier à 1 GB, d’allonger la période de conservation à 30 jours et d’améliorer les réductions en points.

Les noms des niveaux spécifiques, les montants et les remises sur les activités sont à vérifier sur la page d’achat après connexion.

La plateforme applique des frais en fonction des fonctionnalités, avec une unité de facturation de 30 secondes : même si une vidéo dure moins de 30 secondes, elle est comptée comme telle. Lorsque le traitement de base, la traduction, la doublage et l’effacement sont utilisés en même temps, les frais pour chacune de ces fonctionnalités s’additionnent. Selon le tableau des avantages actuellement publié, le tarif pour l’effacement de sous-titres en version Lite commence à 4 points par 30 secondes, et peut descendre à 2 points, 1,5 point, etc., selon le type de compte.

La suppression par sélection de zone Pro commence à environ 6 points toutes les 30 secondes ; la voix off classique IA commence à environ 2 points, la voix off ultra-réaliste commence à environ 50 points, et le clonage émotionnel avancé commence à environ 45 points.

Contactez le service commercial pour les niveaux d’entreprise.

La page de marketing du site officiel indique que le tarif pour la traduction et la doublage peut descendre jusqu’à 0,2 yuan par minute, tandis que la page des fonctionnalités initiales affiche un minimum de 0,5 yuan par minute ; ces prix « jusqu’à » dépendent du forfait, des réductions en points et de la combinaison de fonctionnalités, et ne représentent pas un tarif unique pour toutes les tâches de traduction, de suppression et de doublage.

Avant l’achat, il convient de calculer les coûts dans les détails de facturation en fonction de la durée réelle et du combiné de fonctionnalités.

Les règles de points stipulent également que les points expirés au cours des 30 jours peuvent être récupérés automatiquement après achat, mais cette récupération ne donne pas droit à un remboursement. Le statut de membre ne signifie pas une utilisation illimitée de toutes les fonctionnalités ; les vidéos en haute définition, la durée d’utilisation, le nombre de connexions simultanées, les opérations en masse, les API et les timbres audio avancés peuvent encore être soumis à des restrictions liées aux points ou au niveau.

Plateforme de support

• Sur le navigateur web, il peut être utilisé dans les navigateurs Windows et macOS ;
• Navigateur mobile H5 ;
• Mini-programme WeChat ;
• L’iPhone et Android peuvent être utilisés via des pages web mobiles ou des mini-applications, tandis que les tâches complexes en batch sont plus adaptées à l’ordinateur.
• Intégration des API d’entreprise avec les systèmes de contenu.

Entreprises, vie privée et statut open source

La politique de protection des données personnelles liée au montage par GhostHand indique que l’entité opérante est Shanghai Zhaoli Technology Co., Ltd. Il s’agit d’un service cloud commercial qui ne rend pas publics les codes sources complets des systèmes de reconnaissance vidéo, de traduction, de suppression, de doublage et de rendu ; par conséquent, ce n’est pas un outil vidéo open source.

Fournir une API n’équivaut pas à rendre le code source open source ou à autoriser une copie privée.

Les vidéos, les sons, les sous-titres et les images doivent être téléchargés dans le cloud pour y être traités. Le site officiel indique qu’ils sont stockés et sauvegardés dans plusieurs environnements cloud à l’échelle mondiale, avec chiffrement, isolation des données et contrôle d’accès.

Les clients entreprises doivent toujours définir, dans le cadre du contrat, la durée de conservation des données, les modalités de suppression, les transferts transfrontaliers, l’utilisation pour l’entraînement des modèles, l’accès des employés et la notification en cas d’incident.

Les matériaux confidentiels, les épisodes non publiés et les enregistrements biométriques personnels ne doivent pas être téléchargés sans l’approbation de l’organisation.

Guide d'utilisation de la mise en coupe Ghost Hand

Terminer une tâche de base

1. Déterminer le public cible, la plateforme, l’aspect, la durée et les informations à communiquer ;
2. Préparer le script, les plans ou les matériaux de référence autorisés pour le montage avec des mains fantômes ;
3. Sélectionnez la traduction et la doublage vidéo par IA pour générer une prévisualisation à bas coût ;
4. Utiliser l’extraction des sous-titres, le montage et l’ajustement de la traduction pour l’image, le rythme, les sous-titres et le son ;
5. Vérifier frame par frame les personnages, le texte, le logo, la forme des lèvres et l’exactitude factuelle ;
6. Exporter selon les spécifications ciblées après confirmation de l’autorisation pour la musique, les portraits et les matériaux ;

Créer des flux de travail professionnels réutilisables

1. Créer des scripts, des fiches de tournage, des matériaux de marque et une liste d’éléments interdits ;
2. Conserver des paramètres unifiés pour la traduction et le doublage vidéo par IA, l’extraction des sous-titres, le framing et la traduction, ainsi que la révision de la traduction par grands modèles ;
3. Testez d’abord le modèle et les limites avec des scènes représentatives ;
4. Transférer les plans ratés pour un montage manuel ou une régénération ;
5. Unifier les sous-titres, le volume, les couleurs et les informations de droits d’auteur en fin de film ;
6. Enregistrez la version et l’auditeur avant de publier en masse ;

À qui s’adresse-t-il ?

• Équipe de distribution chargée de traduire en versions multilingues des séries courtes, des séries animées et des séries à personnages réalistes en grande quantité ;
• Commerce électronique transfrontalier qui localise les supports de marketing pour des plateformes telles que TikTok et YouTube ;
• Blogueurs et MCN qui créent des sous-titres et des doublages pour un public à l’étranger ;
• Établissement éducatif proposant des cours de traduction, des formations et des vidéos pédagogiques ;
• Équipe de localisation de films et séries chargée du traitement des dialogues, des voix et des sous-titres pour plusieurs personnages ;
• Les entreprises qui construisent des pipelines de traitement vidéo automatisé via une API.

Avantages du produit

• Couvre l’ensemble du processus de doublage : extraction, traduction, révision, suppression, doublage des voix, musique d’accompagnement et synthèse ;
• Utiliser simultanément l’ASR et l’OCR pour s’adapter aux sous-titres vocaux et aux sous-titres textuels fixes à l’écran ;
• Prend en charge la reconnaissance de multiples rôles, le clonage de la voix et le traitement de la cohérence entre les épisodes ;
• Il est possible de traiter en lot jusqu’à 100 vidéos et de gérer les projets ;
• Prend en charge la correction de sous-titres en ligne, l’export en SRT et des fichiers de projet ;
• Les fonctionnalités de vidéo et d’images peuvent être intégrées via une API.

Restrictions et précautions

• La traduction et la doublage vidéo peuvent être affectés par la qualité sonore originale, la vitesse de parole, le dialecte, la musique de fond et les chevauchements des personnages ; les résultats automatisés ne sont pas garantis comme étant entièrement précis.
• Avant la publication officielle, il est nécessaire de vérifier la timeline des sous-titres, la traduction, les personnages, le timbre de voix, la synchronisation des lèvres et du son et de l’image ;
• L’effacement des sous-titres, la suppression des watermarks, les commentaires et la réproduction ne doivent pas être utilisés pour un transfert non autorisé, une œuvre prétendument originale ou pour contourner les mécanismes de protection des droits d’auteur.
• La clonage de voix ne doit pas se faire passer pour une personne réelle ;
• L’utilisateur doit se conformer en même temps aux lois de la plateforme d’origine des contenus, de la plateforme de publication cible ainsi qu’à celles du pays où il se trouve ;
• Le coût est calculé par intervalles de 30 secondes, et le traitement de plusieurs tâches entraîne une somme des frais.
• Le prix « jusqu’à » n’est pas un prix de commande fixe ;
• Avant de lancer des tâches en grande quantité, il convient d’estimer le nombre de points au préalable, et de vérifier les tâches échouées, les points expirés, la durée de conservation et les règles de remboursement ;

Questions fréquentes

Peut-on utiliser GhostCut gratuitement ?

Il est possible de tester certaines fonctionnalités de base, mais le compte gratuit a des limites en termes de durée des vidéos, de taille des fichiers, d’espace de stockage, de temps de sauvegarde et de points. La traduction avancée, la suppression, la doublure, le clonage de voix, le traitement en masse et l’API nécessitent généralement un abonnement ou des points.

Combien de langues peut traduire le montage Ghost Hand pour les vidéos ?

La page de traduction vidéo actuelle indique qu’elle prend en charge plus de 40 langues cibles, avec une reconnaissance de sous-titres encore plus étendue. La capacité de reconnaissance, de traduction et de doublage peut varier selon les langues ; il convient de vérifier sur la page de la tâche.

Y aura-t-il une watermark sur la vidéo exportée ?

Selon les informations actuelles sur le site officiel, les vidéos doublées exportées avec des fonctionnalités gratuites ou payantes ne comporteront pas d’eau marquée de montage fantôme, mais pour supprimer les identifiants de la vidéo originale, une autorisation légale est requise.

Peut-on gérer des pièces courtes avec plusieurs personnages ?

Oui. La version professionnelle prend en charge la reconnaissance automatique des personnages, la correction des dialogues, le choix de voix pour différents personnages et la génération de doublage multipersonnage ; il est recommandé de vérifier manuellement la cohérence des personnages d’un épisode à l’autre.

Comment Ghost Hands facture-t-il ses services de montage ?

Des offres d’essai gratuit, de membre, de cartes prépayées et des solutions professionnelles sont disponibles. Les tâches sont facturées par fonction et par unité de 30 secondes, avec un calcul cumulé pour plusieurs fonctions.

Le montant final doit être calculé en fonction du prix par point de page d’achat et de la combinaison de tâches.

GhostHand Editing propose-t-il une API ?

Il offre des fonctionnalités telles que la suppression des sous-titres, la traduction, les commentaires audio, ainsi que la traduction et la suppression d’images. L’API et l’interface web appliquent la même logique de facturation ; les clés, le nombre de connexions simultanées et les conditions relatives aux données d’entreprise doivent être confirmées séparément.

GhostCut est-il un logiciel open source ?

Non. C’est une plateforme commerciale de doublage vidéo en nuage, qui propose une API ouverte mais ne divulgue pas le code source complet de son système central.