CSM AI

Qu’est-ce que CSM AI ?

CSM AI a été développé par Common Sense Machines. Son produit phare, Cube, est une plateforme de génération 3D destinée aux jeux, au design, à l’animation et à la simulation. Elle peut partir de texte, de croquis, de photos de produits ou de personnages pour créer d’abord des images de référence, puis les convertir en maillages 3D, avant de procéder à leur affinement, à leur segmentation, à leur retexturage et à leur animation.

La plateforme est conçue comme un outil de collaboration pour la création 3D, et non comme un remplaçant à tous les logiciels de modélisation. La vue préliminaire rapide convient à l’exploration des formes, tandis que Refine sert à améliorer la qualité du maillage et des textures ; les assets finaux peuvent encore être importés dans Blender, Maya, Unity ou Unreal pour des vérifications de topologie, de matériaux, de binding et de performance.

Conversion d’image en image 3D

Lorsque l’utilisateur télécharge l’image principale, Cube sépare d’abord les objets et génère plusieurs prévisualisations Spin, avant de créer le mesh de prévisualisation. Une fois la forme générale confirmée, il est possible d’exécuter Refine pour obtenir une géométrie et des textures plus détaillées.

Il est plus facile de générer des images avec un premier plan clair, un arrière-plan simple, un sujet complet et peu de distractions. L’arrière-plan, invisible sur une seule image, est deviné par le modèle ; par conséquent, les produits précis, les personnages asymétriques et les structures mécaniques conviennent mieux à l’utilisation de plusieurs vues.

Différences entre Turbo Preview et Refine

La phase Turbo ou Preview met l’accent sur une prédiction 3D rapide en quelques secondes, idéale pour filtrer la composition et les formes ; Refine nécessite plus de temps et de crédits pour améliorer la définition géométrique, les textures, les détails d’éclairage et le réalisme global.

Prévisualiser avant de affiner permet de réduire l’usage des crédits pour des compositions erronées. Le refinement ne garantit pas non plus automatiquement que le produit soit prêt à la production, en particulier en ce qui concerne les déformations articulaires, les structures minces, le texte et les dimensions précises.

Conversion d’images à plusieurs vues en 3D

Multi-View permet de télécharger jusqu’à 5 images d’un même objet sous différents angles, ce qui est idéal pour les produits ou personnages nécessitant une représentation plus précise de l’avant, d’arrière, des côtés et du dessus. Chaque image doit présenter le même objet, avec les mêmes proportions, matériaux et éclairage.

Lorsque les distances focales, les formes ou l’état des composants de différentes photos entrent en conflit, le modèle peut présenter des doubles images et des distorsions. Il convient d’utiliser un objectif fixe et un arrière-plan pour la prise de vue, puis de séparer manuellement chaque image selon les besoins.

Segmentation manuelle

Lorsque l’image contient plusieurs objets, un arrière-plan complexe ou des structures allongées, on peut utiliser la segmentation manuelle pour spécifier les éléments à conserver. Un masquage précis permet d’éviter d’inclure par erreur le bureau, les ombres ou les objets voisins dans la grille.

Text to Image to 3D

En l’absence de schémas de référence, on peut d’abord créer un schéma conceptuel monomorphe adapté à la reconstruction 3D par le biais de texte, puis le transmettre à Image to 3D. Les instructions doivent préciser l’entité individuelle, le contour complet, un arrière-plan simple et une perspective idéale, afin d’éviter de générer des scènes complexes dès le début.

Modélisation par composants

Les personnages, véhicules et objets mécaniques complexes peuvent être décomposés en composants indépendants tels que la tête, le corps, les armes, les roues, etc., qui sont ensuite assemblés dans un logiciel 3D. Cette approche par composants permet de conserver davantage de détails locaux et facilite le remplacement ainsi que la réutilisation des packs d’assets.

Avant de combiner, il faut unifier l’échelle, l’origine, les axes de coordonnées, les surfaces de jonction et la nomenclature des matériaux. Les composants générés par l’IA ne forment pas automatiquement des relations d’assemblage techniques rigoureuses.

AI Retexturing – Retexturation par IA

L’AI Retexturing permet de régénérer la surface des assets en fonction du texte et de la direction de référence, ce qui est idéal pour modifier les matériaux, les couleurs, l’usure et le style ; il peut également être utilisé pour essayer de réparer les logos ou le texte présents dans l’image originale.

Les textures génératives peuvent encore commettre des erreurs de frappe dans le nom de la marque ou se rompre aux jonctions UV. Les assets professionnels doivent faire l’objet d’une vérification de la densité UV, des normales, des canaux PBR et de l’exactitude des marques.

Retopologie et cuisson de textures

Les modèles de présentation de haute qualité ne conviennent pas nécessairement aux moteurs en temps réel. L’utilisateur peut redessiner la topologie ultérieurement, réduire le nombre de polygones et intégrer les détails du modèle haut détail dans le modèle bas détail.

Les personnages doivent également établir des lignes de bord raisonnables pour les déformations des articulations et du visage.

Texte vers 4D et animation

CSM offre une approche de génération d’animations à partir de texte : il est possible de télécharger des maillages FBX, puis de soumettre une ou plusieurs descriptions d’actions pour générer l’animation. Text to 4D met l’accent sur l’extension des actifs 3D en contenus animés qui évoluent dans le temps.

La génération d’animations convient aux prototypes rapides, mais il reste nécessaire de vérifier les os, le glissement des semelles, les collisions, le centre de gravité et les joints cycliques. Le maillage d’entrée doit respecter les directions et structures de référence officielles.

3D Agent et Blender MCP

CSM explore l’utilisation d’agents génératifs pour contrôler des outils 3D, permettant aux utilisateurs de créer et de modifier des scènes dans des environnements tels que Blender à l’aide du langage naturel. L’approche MCP peut ouvrir les outils de modélisation aux agents d’IA pour qu’ils exécutent des tâches multiples.

L’agent a la capacité de modifier les fichiers et les scènes ; il convient de lancer le projet de copie et d’établir des points de validation. Le code généré automatiquement, les assets téléchargés ainsi que les modifications massives des matériaux doivent faire l’objet d’une révision manuelle.

Comparaison des forfaits et des versions

La FAQ officielle ne affiche pas de manière stable le montant actuel en dollars ; l’entrée des prix doit être chargée dynamiquement depuis le compte. Lors de l’achat, il convient de vérifier les Credits mensuels, la consommation en Preview et Refine, la vitesse de génération, les paramètres de confidentialité, la limite API ainsi que les taxes, sans se référer aux frais mensuels historiques mentionnés dans d’anciennes évaluations.

Différences de licence entre la version gratuite et la version payante

Les sorties Tinkerer sont sous licence Creative Commons Attribution 4.0, permettant leur utilisation à condition de respecter les conditions d’attribution. Les sorties Maker et Creative Pro sont privées et appartiennent au client.

Quelle que soit la formule, l’utilisateur doit toujours disposer des droits légaux pour entrer des images, des personnages, des produits et des marques.

Comparaison des formats d’exportation

Dimensions et contrôle Pivot

Refine API permet de définir les dimensions de la boîte délimitante tridimensionnelle et le point pivot. Une échelle et un origine corrects sont essentiels pour positionner, faire pivoter, animer et présenter les produits dans le jeu.

Après génération, il faut encore valider l’unité réelle dans le logiciel cible.

CSM REST API

L’API REST couvre les sessions Image à 3D, Prévisualisation, Affinement, adresses de grille, Texte à Image, animation, Crédits et Webhook. Les tâches s’effectuent via des sessions asynchrones ; après soumission de l’application, il faut surveiller l’état ou attendre une notification.

La clé API doit être stockée du côté serveur. L’adresse de téléchargement peut être temporaire ; l’application doit la réenregistrer rapidement une fois la tâche terminée, et gérer les échecs, les délais d’attente, les Webhooks redondants ainsi que le manque de crédits.

Python Library

La bibliothèque officielle Python encapsule une API REST, permettant de lancer Image to 3D à partir d’URL d’image, de fichiers locaux ou d’images PIL, de polling les résultats et d’exporter en OBJ, GLB, FBX ou USDZ. Elle convient aux pipelines d’actifs en masse et au développement de prototypes.

Les documents publics de la bibliothèque d’emballage Python ne signifient pas que le modèle généré est open source ; l’appel reste dépendant des services cloud CSM, de la clé API et des crédits.

Suggestion d’entrée

• Utiliser des images à haute résolution, claires et avec un sujet complet ;
• Les personnages doivent adopter autant que possible une posture en T ou une position avec les membres séparés ;
• Éviter que la transparence, les reflets, les poils et les structures très fines ne dominent l’image ;
• Une segmentation manuelle est utilisée pour les arrière-plans complexes ;
• Les objets précis fournissent jusqu’à 5 vues multiples cohérentes ;
• Les personnages complexes sont d’abord décomposés en composants pour être générés.

Confidentialité et données

Creative Pro offre des options de contrôle de la confidentialité, et les droits sur le contenu de la version gratuite diffèrent. Avant de traiter des produits non publiés, des rôles de clients et des secrets commerciaux, il convient de vérifier la visibilité, l’utilisation en formation, la durée de conservation, les méthodes de suppression et les permissions des équipes.

GitHub et l’état open source

Le modèle de génération Cube de CSM, sa plateforme Web et son API cloud ne sont pas des produits open source. Aucun dépôt complet du modèle central, explicitement indiqué sur le site officiel, n’a été trouvé lors d’une recherche en temps réel sur GitHub.

De nombreux projets CSM du même nom proviennent d’autres organisations et ne peuvent être considérés comme du code officiel de Common Sense Machines.

Même si les clients Python ou les intégrations de proxy associés sont publics, cela ne signifie pas que les modèles Cube peuvent être exécutés hors ligne.

Guide d'utilisation de CSM AI

Terminer une tâche de base

1. Définir l’usage de l’image, ses dimensions, son style et les exigences en matière d’autorisation commerciale ;
2. Téléchargez l’image originale dont vous avez les droits d’utilisation sur CSM AI ou saisissez des instructions claires ;
3. Sélectionnez « Image to 3D » pour convertir l’image en 3D et générer d’abord des candidats à faible coût ;
4. Utiliser Turbo Preview et Refine pour corriger la composition, le sujet et les détails ;
5. Agrandir pour examiner les visages, les mains, le texte, les bords, les logos et les artefacts ;
6. Vérifiez la couleur, la résolution et l’autorisation avant d’exporter, et conservez l’image originale ;

Créer des flux de travail professionnels réutilisables

1. Établir une liste des couleurs de la marque, des polices, de la composition et des éléments interdits ;
2. Tester séparément la conversion d’images Image to 3D en 3D, les différences entre Turbo Preview et Refine, ainsi que la conversion d’images à plusieurs vues en 3D ;
3. Comparer la qualité, la vitesse et le coût à l’aide du même ensemble d’échantillons représentatifs ;
4. Confier la retouche manuelle des bords complexes, du texte et des images de produits clés ;
5. Uniformiser la nomenclature, les dimensions et l’état d’audit ;
6. Traiter et publier en lot après un contrôle aléatoire ;

À qui s’adresse-t-il ?

• Développeurs de jeux qui transforment rapidement des diagrammes conceptuels en 3D ;
• Artistes 3D qui créent des prototypes de personnages, d’accessoires et d’environnements ;
• Équipes e-commerce ayant besoin de présentations 3D et AR des produits ;
• Créateurs de packs d’actifs via des workflows de composants ;
• Concepteurs ayant besoin de retexturage par IA et d’animations de texte ;
• Développeurs générés en masse via l’API REST et Python.

Avantages principaux

• Prend en charge le texte, une seule image et la génération de jusqu’à 5 vues multiples ;
• Preview et Refine contrôlent les coûts et la qualité par étapes ;
• Fournit une segmentation manuelle, un modélisation des composants et un remapage par IA ;
• Couvre l’animation 3D et la direction du contrôle des agents ;
• Prend en charge plusieurs formats de grille courants ;
• Fournit une API REST, des Webhooks et des bibliothèques Python.

Restrictions et précautions

• Une seule image ne peut pas restituer la structure réelle invisible ; les dimensions précises, les textes, les couches fines et les topologies complexes peuvent encore faire l’objet d’erreurs.
• Refine nécessite plus de temps et de crédits, le prix payant doit être consulté en se connectant.
• La diffusion gratuite nécessite une attribution selon CCBY4.0 ;
• Le modèle central n’est pas open source, et le traitement en cloud concerne la confidentialité des contenus.
• Les actifs finaux du jeu ou du produit doivent néanmoins faire l’objet d’une validation par un logiciel spécialisé ;

Questions fréquentes

Est-ce que CSM AI est gratuit ?

Il existe une version de base Tinkerer, dont les résultats sont publiés sous licence CC BY 4.0. Un réseau en haute résolution, des serveurs rapides et un flux de travail complet nécessitent Maker ou Creative Pro.

Combien de vues multiples peut-on télécharger au maximum ?

Multi-View prend actuellement en charge jusqu’à 5 images d’un même objet sous différents angles.

Quelle est la différence entre Preview et Refine ?

Preview sert à évaluer rapidement la forme, tandis que Refine améliore davantage la qualité géométrique et des textures en consommant plus de ressources.

Quels formats d’exportation sont pris en charge ?

La bibliothèque Python prend en charge explicitement OBJ, GLB, FBX et USDZ ; les options de téléchargement spécifiques pour le navigateur dépendent de la session en cours.

Le CSM propose-t-il une API ?

Fournit une API REST, des Webhooks et des bibliothèques de wrapper en Python, couvrant la conversion d’images en 3D, la conversion de texte en images et les animations.

Est-ce que CSM AI est open source ?

La plateforme Cube principale et les modèles de génération ne sont pas open source ; aucune version complète des poids du modèle ni du code source du serveur n’a été rendue publique par les développeurs officiels.