DeepMotion

Qu’est-ce que DeepMotion ?

DeepMotion est une plateforme d’IA pour la capture des mouvements humains et l’animation 3D, développée par DeepMotion, Inc. Ses produits phares incluent Animate 3D, qui convertit les vidéos en animations, et SayMotion, qui transforme le texte en animations. Elle permet aux utilisateurs de créer des animations de personnages pouvant être importées dans des moteurs de jeu, des logiciels 3D et des processus de production cinématographique, à partir de vidéos filmées avec une caméra ordinaire ou de langage naturel.

La plateforme se concentre principalement sur le mouvement des personnages humains et anthropomorphes ; ce n’est ni un outil de génération de code, ni un logiciel de modélisation permettant de créer directement des modèles 3D complets à partir d’images. La qualité des animations reste influencée par l’angle de prise de vue, les obstacles, les vêtements, l’éclairage, les proportions du personnage et le redirigement ultérieur.

Comparaison des produits phares

Fonctionnalités principales d’Animate 3D

Capteur de mouvement sans marquage avec une seule caméra

L’utilisateur télécharge des vidéos de personnes ordinaires, le système identifie les trajectoires articulaires et génère une animation squelettique, sans besoin de combinaison de capture de mouvement, de capteurs ou d’un studio spécialisé. Il convient pour transformer des vidéos prises avec un smartphone, des archives, des danses, du sport et des performances en animations modifiables.

Suivi du corps entier, des mains et du visage

Animate 3D peut suivre les mouvements du corps entier et activer le suivi des mains et du visage en fonction de la tâche. Une animation du corps entier consomme généralement 1 point par seconde, tandis que le suivi des mains et du visage en consomme respectivement 0,5 point supplémentaire ; donc, les activer en même temps augmente la consommation.

Captation de mouvement pour plusieurs personnes

Dans la même vidéo, il est possible de sélectionner plusieurs personnages et d’associer chaque personnage à un rôle distinct ; le nombre maximal de personnes passe de 2 à 8 selon l’abonnement. Lorsque les personnages se cachent les uns les autres, se superposent ou quittent l’écran, la stabilité du suivi diminue ; pour les tâches impliquant plusieurs personnes, il convient de prévoir des positions et des arrière-plans plus clairs.

Correction physique et motrice

La plateforme offre un verrouillage des pieds, un filtrage physique, un lissage des mouvements, un traitement en ralenti, des paramètres de squelette racine et une ajustement de la vitesse. Le Rotoscope Pose Editor permet de corriger les articulations frame par frame ; l’utilisateur peut comparer différents paramètres en relançant le processus, mais un lissage excessif peut également entraîner la perte des détails des mouvements originaux.

Rôles personnalisés et redirigement

L’utilisateur peut choisir le rôle par défaut, créer un avatar ou télécharger des personnages anthropomorphes personnalisés au format FBX ou GLB ; le système redirige alors la capture des mouvements vers l’ossature cible. Lorsque l’ossature du personnage, ses proportions et son nom ne répondent pas aux exigences, il reste nécessaire de les ajuster dans Blender, Maya, Unity ou Unreal Engine.

Export en plusieurs formats

Les formats de sortie courants incluent FBX, BVH, GLB, MP4, JPG, PNG et GIF ; les versions Professional et Studio offrent en plus DMPE. FBX et BVH conviennent aux pipelines d’animation, GLB est adapté aux sites web et aux applications en temps réel, tandis que les vidéos et les images sont principalement utilisées pour la prévisualisation et la communication.

Fonctionnalités principales de SayMotion

Génération de texte pour animations 3D

L’utilisateur décrit par des mots les mouvements, la vitesse, l’émotion, la direction des membres et le style de performance des personnages, et SayMotion génère plusieurs variantes de mouvements 3D. Il convient pour trouver rapidement des performances absentes de la bibliothèque de mouvements existante, ainsi que pour créer des ébauches pour des scénarios, des prototypes de jeux et des personnages virtuels.

Insération et prolongement d’action

L’Inpainting permet d’insérer de nouveaux segments textuels à l’début, au milieu ou à la fin d’une action, et est utilisé pour prolonger ou modifier partiellement une animation existante. Les utilisateurs peuvent également combiner différentes actions, puis contrôler les transitions par la durée du montage, le verrouillage des pieds, le filtrage physique et l’ajustement de la fluidité.

Aide aux suggestions et structuration de l’histoire

Prompt Enhancer aide à compléter les descriptions des actions, tandis que le Story Mode organise des scènes plus longues à l’aide d’instructions successives. Les modèles de génération peuvent encore mal interpréter les relations spatiales complexes, les interactions entre deux personnes ou le rythme précis ; les plans clés doivent être générés, sélectionnés et ajustés manuellement, section par section.

Exigences de tournage vidéo

• Utilisez des vidéos de personnes réelles ou de mouvements clairement anthropomorphes ; les personnages de dessin animé et abstraits ne conviennent pas comme sujets à capturer.
• La caméra se trouve à environ 2 à 6 mètres de la personne et reste immobile, en tournant le plus possible directement vers elle pour des mouvements normaux.
• Assurez-vous que la partie du corps entier, du buste ou du visage à suivre reste constamment visible, en évitant que des accessoires, des meubles et d’autres personnages ne cachent les articulations.
• Les mouvements au sol peuvent être effectués à un angle de trois quarts, afin de réduire le chevauchement des parties du corps.
• Utilisez une lumière neutre et uniforme, en évitant la luminosité excessive, l’obscurité, le flou de mouvement et un éclairage arrière fort.
• Créez un contraste marqué entre le personnage et le décor ; les vêtements ne doivent pas être trop amples au point de cacher les genoux, les coudes et autres articulations importantes.
• Choisissez des vidéos qui respectent les limites en termes de durée, de taille du fichier, de résolution et de fréquence d’images du forfait ; les valeurs actuelles sont indiquées sur la page des prix.

Guide d'utilisation d’Animate 3D

1. Inscrivez-vous et validez votre compte DeepMotion, puis sélectionnez Animate 3D et le forfait actuel dans le portail.
2. Préparez une vidéo conforme aux directives de capture en coupant d’abord les séquences inutiles et en vous assurant que les personnes, les articulations et le sol sont bien visibles.
3. Créer une tâche d’animation, télécharger une vidéo, choisir un joueur unique ou plusieurs joueurs, le corps entier, les mains, le visage et le personnage cible.
4. Définissez les paramètres de verrouillage des pieds, de filtrage physique, d’os racine, de lissage et de sortie, puis soumettez le traitement.
5. Vérifiez dans le prévisualiseur, en comparant avec la vidéo originale, les glissements des pieds, les superpositions, les vibrations des articulations et les maladresses des personnages.
6. Si nécessaire, utilisez le Rotoscope Pose Editor pour corriger image par image, ou exécutez à nouveau la séquence pour ajuster les paramètres et la regénérer.
7. Téléchargez des fichiers FBX, BVH, GLB ou visualisez des médias, puis importez-les dans le logiciel 3D cible ou l’engine de jeu pour effectuer la redirection et le nettoyage.

Processus d’utilisation de SayMotion

1. Choisissez le personnage et saisissez l’action, la direction, la vitesse, l’émotion et la durée, en évitant de demander trop de détails contradictoires à la fois.
2. Sélectionnez le nombre de variantes et générez-les ; comparez le rythme, la posture, les pas et l’orientation spatiale.
3. Utilisez le montage, la fusion ou l’Inpainting pour insérer de nouvelles actions et construire progressivement des performances plus longues.
4. Activez le lissage, le filtrage physique et le verrouillage des pieds, puis vérifiez si les transitions sont naturelles.
5. Exporter dans le format cible, puis utiliser un logiciel ou un moteur d’animation pour rediriger les personnages, les plans et effectuer les finitions finales.

Adapté aux utilisateurs et aux scénarios

• Développeur de jeux indépendants : processus pour convertir rapidement des vidéos d’acteurs en animations de prototype et les importer dans Unity, Unreal Engine ou Roblox.
• Animateur 3D : Préparation d’animations squelettiques de base pour Blender, Maya, 3ds Max ou d’autres outils.
• Équipes de production vidéo et virtuelle : extraction d’animations à partir de vidéos en direct ou archivées, afin de réduire le travail lié aux frames clés de base.
• Créateurs de danse, de sport et d’éducation : conversion de démonstrations en direct en mouvements de personnages numériques ou en matériel visuel.
• Équipe des produits VR, AR et de personnes virtuelles : intégration du suivi du corps humain dans les applications via des API ou des SDK en temps réel.
• Créateur de contenu : générer des actions courtes à l’aide de texte, puis les combiner avec des enregistrements vidéo pour créer des interprétations de personnages plus riches.

Prix d’Animate 3D

Ce qui suit indique le prix mensuel équivalent pour un abonnement annuel affiché sur cette page ; le prix pour un paiement mensuel peut être différent. Les prix, les taxes, les modalités de paiement selon la région ainsi que les promotions sont soumis à celles indiquées sur la page de paiement réelle et dans l’interface d’administration du compte.

Les points sont réinitialisés chaque mois et ne sont pas reportés ; 1 point correspond généralement à 1 seconde d’animation du corps entier ou à 1 posture 3D. Le centre d’aide mentionne encore que 60 secondes gratuites par mois, ce qui est en contradiction avec les 25 points indiqués sur la page des prix actuelle ; il convient de se référer au montant réel affiché après connexion.

Prix de SayMotion

Animate 3D et SayMotion disposent de systèmes de abonnements et de quotas distincts ; il ne faut pas mélanger les points ou les avantages. Les licences commerciales des plans payants ainsi que les solutions API doivent également être vérifiées séparément avant achat.

Programme de points gratuits

Les utilisateurs d’Animate 3D peuvent gagner des points en écrivant des étiquettes en anglais pour les actions nouvellement téléchargées, ainsi qu’en corrigeant les articulations dans l’éditeur de postures. Ces étiquettes et corrections servent à améliorer Animate 3D et SayMotion ; les participants doivent comprendre qu’il s’agit d’un mécanisme de contribution destiné à améliorer les modèles.

• La qualité des étiquettes est évaluée en fonction du type d’action, du style et de la complétude de la description ; actuellement, le modèle d’évaluation est principalement basé en anglais.
• La correction de la posture est notée en fonction du degré de ressemblance avec le modèle mécanique du corps humain, en ce qui concerne la longueur des os et les angles articulaires.
• L’utilisateur peut récupérer une partie ou la totalité des points consommés pour la tâche, mais toutes les animations ne sont pas automatiquement gratuites.
• La manière d’obtenir ne modifie pas la licence ; l’autorisation commerciale reste déterminée par le forfait utilisé au moment de sa création.
• Les points gagnés sont réinitialisés à la fin du cycle mensuel du forfait et ne sont pas transférés au mois suivant.

Licences commerciales et remboursements

Freemium est uniquement destiné à un usage personnel et non commercial ; le plan payant accorde une licence commerciale mondiale, permanente, non exclusive, entièrement payante, sans redevances et sans droits d’auteur sur les produits créés pendant la durée de l’abonnement. Les animations peuvent être intégrées dans des œuvres complètes telles que des jeux, des logiciels, des applications, des vidéos ou des films pour être diffusées.

• Les fichiers d’animation ne doivent pas être vendus, sous-licenciés ou mis à disposition en téléchargement en tant qu’actifs numériques indépendants.
• Il est interdit de vendre des packs d’actifs contenant presque les mêmes actions simplement après avoir changé de personnage.
• Les utilisateurs finaux ne devraient pas pouvoir extraire des assets d’animation à partir du produit final sans recourir à l’ingénierie inverse.
• Toutes les achats sont des transactions définitives et ne donnent pas droit à un remboursement ; l’utilisateur peut annuler la réabonnement, le forfait restant en vigueur jusqu’à la fin de la période de facturation actuelle.
• Le renouvellement facture la différence de prix en proportion et reconstitue immédiatement le montant correspondant au nouveau forfait.

API, SDK et GitHub

DeepMotion propose Animate 3D et la API SayMotion REST, destinées au téléchargement en masse, à la génération, à la consultation des états, à la réception de Webhook, à la gestion des rôles et au téléchargement d’animations. L’API Animate 3D utilise un Client ID et un Client Secret pour obtenir des tokens d’accès ; l’accès à l’API ainsi que les tarifs liés à son utilisation doivent être demandés.

1. Inscrivez-vous à un compte sur le portail et soumettez une demande d’accès dans la section API ; attendez d’obtenir les identifiants du client ainsi que le forfait.
2. Conservez les clés en toute sécurité du côté serveur, obtenez des tokens selon le processus d’authentification, et ne stockez pas les clés dans l’interface client ni dans des dépôts publics.
3. Téléchargez une vidéo ou soumettez une tâche de texte, et enregistrez l’identifiant de la tâche retournée.
4. Obtenir l’état de finition par polling ou Webhook, puis télécharger les résultats tels que FBX, BVH, etc.
5. Ajouter des stratégies de tentative supplémentaire, de délai d’attente, de quota, de vérification du contenu et de nettoyage des fichiers dans l’environnement de production.

Les fournisseurs officiels proposent des packages SDK pour Python et JavaScript/TypeScript, ainsi que deux documents API et des dépôts d’exemples. Aucune métadonnée de licence open source standard n’a été détectée dans les dépôts, et le code source de la plateforme cloud principale, des modèles et du SDK en temps réel n’est pas non plus rendu public ; par conséquent, le produit DeepMotion ne peut pas être considéré comme open source.

Plateforme et intégration

Confidentialité et sécurité des données

DeepMotion gère les comptes et informations de contact, les appareils et journaux, les cookies, les métadonnées d’utilisation, ainsi que les vidéos et modèles 3D téléchargés. Par défaut, le contenu téléchargé n’est pas rendu public pour les autres utilisateurs d’Animate 3D, mais il est néanmoins traité dans le cloud et peut interagir avec l’infrastructure de données du fournisseur de services.

• Les infrastructures et les fournisseurs de services comprennent Google Cloud, SendGrid, Okta et Citrix Podio, entre autres.
• Les informations peuvent être traitées aux États-Unis ou dans d’autres pays où se trouvent les installations du prestataire, ce qui implique des transferts transfrontaliers.
• Après la fermeture du compte, les dossiers personnels peuvent être conservés pendant une période raisonnable pour des raisons commerciales, par le biais de sauvegardes, d’archivage ou d’audits, sans qu’un nombre de jours fixe ne soit indiqué.
• Les contenus rendus publics volontairement ne peuvent pas être entièrement supprimés ; il convient de vérifier les droits d’image, les droits de représentation et les autorisations relatives aux matériaux avant de les télécharger.
• Les étiquettes et les corrections d’actions du programme de points gratuits sont destinées à améliorer le produit et ne conviennent pas pour soumettre des descriptions soumises à des accords de confidentialité.
• Les entreprises et les projets sensibles doivent confirmer plus en détail la conservation des données, leur suppression, l’exclusion lors de l’entraînement, les sous-traitants et les contrats de sécurité.

Avantage

• Une simple vidéo suffit pour effectuer une capture de mouvement corporel de base, réduisant ainsi les exigences en matière d’équipement et d’infrastructure.
• Il couvre à la fois la capture vidéo et la génération de texte, et peut fusionner et éditer ces deux types d’actions.
• Prend en charge le corps entier, les mains, le visage, plusieurs personnes, des personnages personnalisés et divers formats de sortie d’animation.
• Fournit un post-traitement pratique avec correction de la posture frame par frame, verrouillage des pieds, filtrage physique et lissage des mouvements.
• Les pages web, les REST API et les SDK en temps réel couvrent la création personnelle, le traitement par lots et l’intégration dans les applications.

Restrictions et précautions

• Le masquage, le déplacement de la caméra, le faible contraste, les vêtements amples et les mouvements complexes du sol peuvent provoquer des tremblements des articulations, des glissades ou des chevauchements.
• La génération des animations nécessite encore que l’animateur vérifie l’ossature, la redirection, les points de contact, le rythme et les proportions du personnage.
• La génération de texte ne garantit pas une reproduction précise de chorégraphies complexes, d’interactions entre plusieurs personnes ou de techniques sportives professionnelles.
• Le plan gratuit ne comprend pas de licence commerciale, et la licence payante interdit également la revente indépendante et la redistribution des assets d’animation.
• Les points sont réinitialisés chaque mois, et le suivi de la main et du visage consomme des points supplémentaires.
• Certaines pages de documentation d’aide présentent des tarifs anciens qui entrent en conflit avec les prix actuels ; il est nécessaire de consulter l’interface d’administration et la page de paiement avant d’acheter.
• Le modèle central et la plateforme cloud ne sont pas open source ; le fait que le répertoire d’API soit public ne signifie pas que l’on puisse héberger le service soi-même.

Questions fréquentes

DeepMotion a-t-il besoin d’une combinaison de capture de mouvement ?

Ce n’est pas nécessaire. Animate 3D extrait les mouvements à partir de vidéos corporelles simples à une seule caméra, mais une prise de vue claire, des articulations non occultées et une caméra stable ont néanmoins un impact significatif sur le résultat.

La version gratuite peut-elle être utilisée à des fins commerciales ?

Non. Freemium est destiné à un usage personnel et non commercial ; les projets commerciaux nécessitent un abonnement payant pour générer des animations.

Combien d’animations peut générer 1 point ?

Généralement, 1 point correspond à 1 seconde d’animation du corps entier ou à 1 posture 3D. Le suivi des mains et du visage coûte en plus 0,5 point par seconde.

Les points sont-ils reportés ?

Non. Les points des forfaits mensuels et annuels sont réinitialisés au début de chaque mois d’abonnement, et les points non utilisés ne sont pas transférés au cycle suivant.

Quels formats d’entrée/sortie sont pris en charge

Animate 3D accepte les vidéos MP4, MOV et AVI, et exporte couramment en FBX, BVH, GLB, MP4, JPG, PNG et GIF. Les formats spécifiques, la durée maximale et la taille maximale varient en fonction du forfait.

Peut-on créer des actions générées en un pack d’actifs à vendre ?

Les animations ne peuvent pas être revendues ou réutilisées en tant qu’actifs numériques indépendants. Elles peuvent être intégrées à des œuvres complètes telles que des jeux, des applications, des vidéos et des films, et les produits finis peuvent être distribués conformément aux conditions établies.

DeepMotion est-il open source ?

Le produit principal n’est pas un logiciel open source vérifié. Les documents API, les exemples et les informations d’intégration SDK sont publiés officiellement, mais aucune licence open source n’est fournie pour la plateforme cloud principale, les modèles ou le SDK en temps réel.

Un remboursement est-il accordé en cas d’annulation de l’abonnement ?

Les conditions stipulent que l’achat est définitif et non remboursable. En cas d’annulation, aucune nouvelle facturation ne sera émise ; les forfaits payés restent généralement en vigueur jusqu’à la fin de la période de facturation en cours.

Résumé

DeepMotion convient pour créer rapidement des animations de personnages à partir de vidéos ou de texte ordinaires, avant de les importer dans des jeux, des films et des processus de création 3D. Lors du choix d’un forfait, il convient d’évaluer en même temps les points, la durée, le nombre de joueurs, les spécifications d’exportation et les licences commerciales, tout en réservant des étapes manuelles pour le nettoyage des animations et l’intégration dans le projet.