Neural4D

Qu’est-ce que Neural4D ?

Neural4D est une plateforme cloud d’IA 3D développée par DreamTech, qui convertit principalement du texte, des photos, des maquettes conceptuelles et des références à plusieurs angles en réseaux tridimensionnels modifiables.

En plus de la génération 3D à partir de texte et d’images, il offre également des textures PBR, la modification de modèles par dialogue, la rétopologie, le ligage automatique d’osselets, l’animation, la conversion de formats, des images 2D, des vidéos et des interfaces de développement.

Fonction principale

Génération de texte et d’images 3D

• Text to 3D reçoit une description textuelle d’objets, de personnages, de matériaux et de styles, génère un maillage de base, puis permet de choisir s’il faut continuer à générer des textures.
• Pour la conversion d’image en 3D, il est possible de télécharger une seule photo, un schéma ou plusieurs angles du même objet ; le système déduit les surfaces invisibles et génère un modèle complet.
• Les images de produits et les maquettes à fort contraste, avec un sujet bien défini, une illumination uniforme et un arrière-plan simple, permettent plus facilement d’obtenir une géométrie utilisable ; l’utilisation de plusieurs angles de vue réduit les spéculations concernant l’arrière-plan.
• Le maillage de base prend généralement environ 90 secondes à créer, tandis que les textures PBR nécessitent un traitement supplémentaire, ce qui peut faire que le temps total dépasse deux minutes ; la complexité de la file d’attente et des tâches influence le temps d’attente.
• Les résultats générés peuvent encore présenter des problèmes de proportions, de structure interne, de parois minces, de topologie et de joints de texture ; l’affirmation selon laquelle ils sont « imprimables » ne peut pas remplacer le contrôle de la découpe et de la structure.

Export des textures et formats PBR

• AI Texture peut extraire des couleurs, des motifs et des caractéristiques de matière à partir d’images de référence, et générer des canaux PBR tels que Normal, Roughness et Metallic.
• Le déploiement UV automatique et la mise en correspondance des matériaux servent à appliquer des textures sur des surfaces, idéaux pour les objets de jeu, les visuels de produits et les matériaux de conception architecturale.
• Prend en charge OBJ, FBX, GLB, USDZ, STL et BLEND, adaptés respectivement à l’édition générale, aux moteurs de jeu, aux sites web et à la RA, à l’impression et à Blender.
• Les utilisateurs payants peuvent télécharger des modèles avec des textures complètes, tandis que les utilisateurs gratuits téléchargent principalement des maillages de base sans textures et sont soumis à une utilisation non commerciale.
• La compatibilité de format ne signifie pas qu’aucune modification n’est nécessaire après l’importation ; Unity, Unreal, Maya, Blender ainsi que les logiciels de découpe peuvent encore nécessiter des ajustements des axes de coordonnées, des unités, des matériaux et du nombre de faces.

Neural4D-2o modification par dialogue

• Neural4D-2o conserve le contexte de la session en cours dans l’interface de chat, permettant de demander successivement des modifications de la proportion, de la géométrie locale, de la couleur ou du matériau de surface.
• L’utilisateur peut soumettre à la fois des références textuelles et visuelles ; par exemple, générer un modèle de base à partir d’un croquis, puis demander d’allonger des parties, de changer le style ou d’épaissir la base d’impression.
• La mémoire contextuelle réduit le nombre de généreations depuis zéro, mais les modifications en langage naturel peuvent encore affecter des zones non spécifiées ; les dimensions clés doivent être vérifiées dans un modèle externe ou avec des outils CAD.
• Studio offre déjà des sessions de dialogue, l’API standard ne prend pas en charge un état de session équivalent pour le moment ; l’interface correspondante v2.0 fait encore partie des plans futurs.

Topologie redéfinie, liaison automatique et animation

• Remesh peut définir le nombre cible de faces pour les assets générés dans Neural4D et retopologier ceux-ci, ce qui est utile pour réduire la charge des projets en temps réel ou pour préparer des bindings ultérieurs.
• Actuellement, Remesh ne prend pas en charge les maillages externes de tiers et ne peut donc pas être considéré comme un service général de rétopologie en ligne.
• Auto-Rigging peut détecter les positions des ossements des humains, des animaux à quatre pattes et des personnages stylisés, calculer les poids de peau, puis exporter en FBX ou GLB pour être intégré dans la chaîne d’animation.
• La nomenclature osseuse standard est utilisée pour assurer la compatibilité avec Mixamo, Unity Mecanim et Unreal Redirection, mais des membres spéciaux, des vêtements, des queues et des topologies complexes peuvent encore nécessiter des ajustements manuels des poids.
• L’animation est utilisée pour ajouter des mouvements aux assets liés ; les conversions, la retopologie, le liage et l’animation dans la version gratuite sont marqués comme « Trial », tandis que les fonctionnalités complètes dépendent d’un compte payant.

Images, vidéos et agent unifié

• Studio comprend également la génération d’images à partir de texte, AnimeArt, ainsi que la création de vidéos à partir de texte ou d’images de référence, idéal pour poursuivre la production d’une présentation dynamique à partir d’un concept.
• Vous pouvez choisir parmi Veo 3.1, Seedance 2.0, Seedance 2.0 Fast et Grok Imagine pour la vidéo ; la résolution du modèle diffère de celle des capacités audio natives.
• Les paramètres vidéo comprennent 480P à 4K, les ratios d’aspect courants, une durée de 5 à 15 secondes, l’audio et le nombre de fichiers générés en une fois, avec un format de sortie MP4.
• L’agent AI 3D permet de générer des modèles 3D, des images ou des vidéos à partir d’un panneau d’entrée fixe, mais les différents médias sont toujours traités selon leurs propres modèles, paramètres et consommation d’énergie.
• Les noms des modèles vidéo de tiers, les régions disponibles, les politiques de contenu et les prix peuvent varier ; les options réellement disponibles dans le compte priment sur les descriptions statiques.

Spécifications d’entrée et de sortie

Processus d’utilisation complet

1. Créez un compte gratuit, déterminez si les résultats seront utilisés pour des tests personnels ou pour des projets commerciaux, et choisissez avant la génération entre Public ou Private, disponible pour les comptes payants.
2. Lors de la génération 3D à partir de texte, il faut décrire le contour, les proportions, le matériau et l’usage ; pour la génération 3D à partir d’une image, il convient d’utiliser un sujet clair et de fournir autant que possible des références en face, de profil et dos.
3. Créez d’abord un maillage de base, faites-le tourner dans l’visualiseur en ligne pour examiner l’arrière, le bas, les parois minces, les trous, les proportions et le contour, puis décidez si vous voulez utiliser Power pour générer une texture PBR.
4. Avec Neural4D-2o, modifier localement à l’aide de commandes spécifiques : préciser l’épaisseur minimale des parois et les dimensions pour l’impression, ainsi que le nombre de faces et les exigences de liaison pour les jeux.
5. Exécutez Remesh lorsque des actifs en temps réel sont nécessaires, puis utilisez Auto-Rigging pour ancrer le personnage et tester la flexion des articulations, l’interaction des vêtements et la portée des mouvements.
6. Sélectionnez GLB, FBX, OBJ, USDZ, STL ou BLEND en fonction de l’outil cible, puis importez-le dans Blender, Unity, Unreal ou un logiciel de découpe pour effectuer une vérification technique finale.
7. Enregistrer la consommation d’énergie de chaque étape, les remboursements en cas d’échec et les paramètres de génération ; évaluer le coût du nettoyage manuel à l’aide d’un petit échantillon avant la production en série.

Niveau de puissance et logique de facturation

• Selon la description anglaise actuelle, Free ajoute 50 Power par semaine et prend en charge 1 tâche en parallèle ; sur les pages en langues différentes, il a été indiqué 300 points par mois et davantage de tâches en parallèle, les informations ne sont pas cohérentes.
• La page d’accueil en anglais indique que Text to 3D et Image to 3D consomment chacun 10 points d’énergie, mais certains contenus localisés affichent 15 ou 20 points ; il convient de se fier à ce qui est affiché avant soumission de la tâche.
• La texture, la conversion de format, la re-topologie, le liage, l’animation, ainsi que les images et vidéos consomment également de l’énergie ; en plus, le coût des vidéos dépend du modèle, de la résolution, de la durée, de l’audio et du nombre.
• Les abonnés peuvent recharger leur solde au prix public de 100 Power pour 1 dollar, les prix pour d’autres comptes ou offres pouvant être différents.
• En cas d’erreur du serveur et s’aucun fichier utilisable n’est généré, l’utilisateur est automatiquement redirigé vers Power ; aucun remboursement n’est accordé si l’utilisateur annule en cours de route ou n’est pas satisfait du résultat final.

Forfait de prix

Neural4D propose à la fois une version gratuite, un passe de 7 jours, ainsi que des abonnements Pro mensuels et annuels. Les prix affichés incluent les promotions et le prix normal ; les réductions réelles, les taxes et les quotas sont indiqués sur la page de paiement.

• La date de fin de la promotion n’a pas été officiellement communiquée ; les abonnements hebdomadaires, mensuels et annuels pourraient être renouvelés automatiquement selon leur cycle respectif.
• Un paiement annuel de 358,8 dollars n’est pas entièrement conforme à l’équivalent de « environ 6,9 dollars par semaine » par page ; il convient de se baser sur le montant total à payer et sur la période de renouvellement.
• Les quotas gratuits, le prix par unité Power et les tâches parallèles présentent des incohérences entre les différentes langues et pages ; aucune de ces versions ne peut être considérée comme un avantage uniforme pour toutes les régions et tous les comptes.

Abonnement, annulation et remboursement

• L’abonnement est renouvelé automatiquement à la fin de la période initiale pour la même durée et au prix en vigueur, sous réserve d’annuler auprès de Plans et Billing au plus tard 30 jours avant le renouvellement.
• Après annulation ou downgrade, il est possible de l’utiliser jusqu’à la fin du cycle en cours ; les frais restants pour ce cycle ne sont généralement pas remboursés.
• Les conditions prévoient également la possibilité de résilier et d’obtenir le remboursement des frais de services non encore facturés dans les 30 jours suivant le début du service ou la renouvellement, ce qui constitue une différence conditionnelle par rapport à l’indication générale de non-remboursement.
• Avant de payer, demandez à l’équipe d’assistance de confirmer si le forfait hebdomadaire permet une annulation avec 30 jours d’avance, la méthode de calcul du remboursement ainsi que le prix de renouvellement en promotion.
• Aucun remboursement n’est accordé en cas de résiliation pour non-respect des règles, et les contenus publiés dans les espaces publics peuvent rester en ligne après la fermeture du compte.

Intégration API

• L’API Neural4D utilise des tokens Bearer, permet de générer des clés à partir du compte, et offre des interfaces pour la génération 3D à partir de texte ou d’images, ainsi que pour les requêtes et la conversion de formats.
• L’interface de conversion de format peut générer des fichiers FBX, GLB, OBJ, STL, BLEND ou USDZ à partir de l’UUID de l’actif, et indique que chaque conversion coûte 10 points.
• L’API utilise un flux de travail asynchrone : l’application doit soumettre une tâche, enregistrer un UUID, surveiller l’état ou attendre selon le mécanisme documenté, puis demander le téléchargement une fois que c’est réussi.
• Le temps de génération cible pour l’interface standard est inférieur à 90 secondes, mais aucun SLA public, aucune limitation de débit, aucune garantie de tentative de réessai et aucun appendice sur le traitement des données n’ont été confirmés.
• L’état de dialogue de Neural4D-2o n’est pas encore intégré à l’API standard, il n’est donc pas possible d’en déduire qu’une même session puisse être modifiée de manière continue via les interfaces existantes.

Étapes d’intégration API

1. Créez un token API dédié dans le compte, stockez-le dans le système de clés du serveur, et gérez-le séparément pour les environnements de test et de production.
2. Sélectionnez l’endpoint de génération de texte ou d’image, vérifiez le format du fichier, sa taille, les champs d’instruction et la puissance requise, et testez d’abord avec des échantillons non sensibles.
3. Après soumission de la tâche, enregistrez l’UUID et utilisez l’interface de requête pour gérer les états de file d’attente, de succès, d’échec, de délai dépassé et de solde insuffisant.
4. Après succès, demander la conversion et le téléchargement du fichier dans le format cible, vérifier l’intégrité du fichier, et enregistrer l’entrée d’origine, les indications, la version du modèle et l’état de la licence commerciale dans le registre des actifs.
5. Établir des plafonds d’utilisation, des tentatives de réessai en cas d’échec, des alertes en cas de défaillance et un renouvellement des clés ; confirmer avant le lancement en masse le taux de vente, les prix et la portée du support.

Adapté aux utilisateurs et aux scénarios

• Jeux indépendants et studios : création rapide d’objets à partir de maquettes conceptuelles, de meshes de base pour les personnages, de matériaux PBR et d’actifs liables.
• Créateur de impressions 3D : convertir un croquis ou une photo en STL, puis vérifier l’épaisseur des parois, les supports, les dimensions et la fermeture dans un logiciel de découpe.
• Équipe e-commerce et XR : génération de prévisualisations des produits en GLB ou USDZ, mais calibration manuelle des dimensions réelles, des couleurs et de la structure.
• Équipe de cinéma et d’animation : utilisation du liage automatique et des animations pour des essais préliminaires, suivis d’un affinage dans Blender, Maya ou le moteur.
• Développeurs : Intégrer la génération de 3D à partir d’images, la génération de 3D à partir de texte et la conversion de formats dans le pipeline d’actifs, des outils personnalisés ou des produits utilisateur, via une API.
• Chercheurs : Utilisation de codes et de poids publics pour Direct3D et Direct3D-S2 pour étudier la génération 3D à partir d’images, sans recourir à des studios commerciaux.

Avantages et limites des capacités

• L’avantage est de regrouper la génération, la modification de dialogue, les textures, la rétopologie, le ligage, l’animation, les images, la vidéo et l’intégration d’API dans une même zone de travail pour les actifs.
• Six formats couramment utilisés couvrent les jeux, le AR sur site web, le DCC et l’impression, mais les assets complexes nécessitent encore une vérification par des professionnels de la topologie, des UV, des squelettes et de la faisabilité physique.
• L’IA peut déduire les structures arrière et internes invisibles dans l’entrée, mais la génération à partir d’une seule image ne garantit pas une reproduction fidèle de produits, de personnes ou de pièces techniques.
• Des capacités telles que « étancheité », « impression directe » et « pas de réparation nécessaire » doivent faire l’objet d’une validation en tant que caractéristiques cibles ; cependant, l’impression réelle reste influencée par l’échelle du modèle, les parois minces, les éléments suspendus et les paramètres de découpe.
• Les grilles triangulaires à haute densité peuvent ne pas être adaptées aux animations de déformation, à l’édition de paramètres CAD ou au rendu en temps réel sur appareils mobiles, nécessitant une retopologie et un tri manuel.
• Les vidéos et les modèles tiers sont mis en ligne rapidement ; le modèle actuel, la résolution, l’audio, la région ainsi que le coût Power peuvent être ajustés à tout moment.

Différences entre les modèles open source et les produits commerciaux

• Neural4D Studio, l’API cloud, les comptes, la communauté, la facturation et le pipeline de production complet sont des services hébergés propriétaires ; ils ne peuvent pas être considérés comme entièrement open source du fait de la publication du code de recherche associé.
• DreamTechAI a rendu publics le code de déduction Direct3D et les modèles, dont la bibliothèque de code est licenciée sous la licence Apache 2.0.
• Direct3D-S2 met également à disposition le code et les modèles de déduction ; la bibliothèque de code est sous licence MIT, et une déduction à une résolution de 1024 nécessite environ 24 Go de mémoire vidéo.
• Les dépôts open source couvrent principalement la recherche en inférence 3D à partir d’images, mais ne correspondent pas au code source complet de Neural4D-2o, des textures cloud, du liage, des vidéos, de la facturation ou des API.
• Lors du déploiement manuel, il est également nécessaire de vérifier séparément les poids du modèle, les dépendances, les données d’entraînement et les licences des composants tiers, sans se limiter uniquement à la licence du code principal.

Droits d’auteur, accessibilité et usage commercial

• Les conditions de service ne revendiquent pas la propriété des entrées et sorties des utilisateurs, mais ces derniers doivent s’assurer que les images, indications et autres matériaux téléchargés sont soumis à des droits légaux.
• Les utilisateurs payants Pro ou entreprises obtiennent des droits commerciaux d’utilisation des modèles de génération sans obligation de mention de crédit, pour des projets légitimes tels que les jeux, le cinéma, les produits et les NFT.
• Les assets gratuits ne sont destinés qu’aux tests personnels non commerciaux, sont générés par défaut en mode Public, peuvent apparaître dans la communauté et permettent aux autres utilisateurs de les consulter ou de les Remixer.
• Les assets du Showcase public sont fournis sous licence CC BY 4.0 ; leur utilisation à des fins commerciales exige de citer l’auteur original, ce qui diffère du droit d’utilisation sans attribution accordé aux utilisateurs payants pour les assets qu’ils génèrent eux-mêmes en privé.
• En choisissant « Public », vous autorisez la plateforme à afficher les créations ; en choisissant « Private », elles ne sont accessibles qu’aux abonnés payants. Les prototypes sensibles et les projets clients doivent avoir leurs paramètres confirmés avant soumission.
• Des sorties similaires, des marques déposées, des portraits de personnages et des designs protégés peuvent encore donner lieu à des litiges ; la licence commerciale fournie par l’abonnement ne peut pas remplacer un inventaire des droits de tiers.

Confidentialité, formation et conservation des données

• La plateforme gère les comptes, les contacts, les transactions, les appareils, le réseau, les journaux d’activité, ainsi que les images, vidéos, fichiers audio, notifications, œuvres et métadonnées associés téléchargés par les utilisateurs.
• Les clauses précisent que les données d’entrée et de sortie peuvent être utilisées pour l’étiquetage, la classification, la modération du contenu, l’entraînement et l’amélioration des modèles, et confèrent un droit d’utilisation à long terme, mondial, transférable et réattribuable.
• Les utilisateurs qui ne souhaitent pas que des actifs confidentiels soient impliqués dans le traitement mentionné ne peuvent pas se fier uniquement à la visibilité Privée ; ils doivent obtenir, dans le contrat d’entreprise, des engagements de suppression des données et de traitement adaptés.
• Le service partage les informations nécessaires à la réalisation des objectifs correspondants avec les services d’hébergement, d’IT, de support, de paiement, de marketing, d’analyse, ainsi qu’avec les parties liées et les partenaires commerciaux.
• La politique de confidentialité indique que les données peuvent être traitées et stockées aux États-Unis, mais les dates et les lieux contiennent encore des placeholders de modèle ; l’entreprise doit demander la confirmation des entités juridiques réelles, des centres de données et des mécanismes transfrontaliers.
• La fermeture d’un compte entraîne la suppression des actifs associés à ce compte, mais le contenu des zones publiques peut être conservé de manière permanente ; la durée de conservation des informations personnelles générales est déterminée en fonction de leur utilisation, des exigences légales, des litiges et des risques, et il n’y a pas de nombre de jours fixe.
• Les utilisateurs peuvent mettre à jour leurs informations dans leur compte et demander la fermeture ou la suppression de celui-ci. Des mesures techniques, organisationnelles et physiques permettent de réduire les risques, mais le service ne garantit pas une sécurité absolue.

Résumé

Neural4D convient aux créateurs et équipes de développement qui ont besoin d’obtenir rapidement des assets 3D à partir de texte ou d’images, afin de poursuivre avec l’application de textures, la modification du modèle, le ligage, l’animation, l’exportation ou l’intégration d’interfaces.

Avant une adoption officielle, il convient de valider la qualité géométrique et d’impression à l’aide de ses propres échantillons, de vérifier la consommation en temps réel ainsi que le facturation, et d’évaluer en particulier les règles gratuites et publiques, les licences commerciales, les autorisations d’entraînement et les conflits de quotas entre pages.