Spline AI

Qu’est-ce que Spline AI ?

Spline AI est la capacité d’IA générative intégrée à la plateforme de conception interactive 3D et 2D Spline. Les utilisateurs peuvent créer des objets 3D à partir de texte ou d’images, générer des matériaux sans couture, transformer des scènes 3D en images de différents styles, puis continuer à ajuster la géométrie, les matériaux, l’éclairage, l’animation et l’interaction dans l’éditeur Spline.

Spline n’est pas seulement un générateur de modèles 3D ; il s’adresse également aux sites web, aux applications, aux démonstrations de produits et aux expériences interactives. Les scènes créées peuvent être intégrées dans des pages web ou intégrées à des produits via les environnements de exécution React, Next.js, Swift et Kotlin.

Texte en texte 3D pour générer du 3D

Après que l’utilisateur ait saisi des descriptions d’objets, de formes, de matériaux et de styles, l’IA génère quatre versions candidates, puis en choisit une pour la convertir en modèle 3D. Elle convient à la création rapide d’accessoires conceptuels, de personnages de dessin animé, de meubles et de décorations.

La génération de maillages peut présenter des problèmes de topologie, de proportion et de détail, et n’est pas nécessairement adaptée aux jeux, au rigging d’animation ou à la fabrication. Pour des utilisations professionnelles, il est nécessaire de continuer à nettoyer le maillage, les UV et les matériaux.

Conversion d’image en image 3D pour générer en 3D

Image to 3D utilise une image 2D frontale comme référence pour convertir un personnage, un produit ou un objet en modèle 3D. Plus l’arrière-plan de l’image de référence est propre, plus l’angle de vue est frontal et plus les contours sont complets, plus le résultat est généralement stable.

Une seule image ne peut pas fournir des informations complètes sur l’arrière et les zones cachées ; l’IA devra donc estimer ces zones invisibles. Une reproduction précise du produit et ses dimensions techniques ne peuvent pas reposer sur cette fonctionnalité.

Remix et variantes

L’utilisateur peut continuer à Remixer à partir des objets déjà créés, en conservant la direction générale tout en explorant de nouvelles couleurs, formes et détails. Il peut enregistrer les résultats satisfaisants dans sa bibliothèque 3D personnelle pour les réutiliser dans différents scénarios.

Génération de textures AI

AI Textures peut générer des matériaux sans couture à partir de texte, tels que des murs en briques, du béton, de l’eau et des mosaïques, qui peuvent ensuite être appliqués à des objets 3D. Une fois générés, il convient de vérifier les joints, les proportions, le sens des normales et leur apparence sous différentes lumières.

AI Style Transfer

Le transfert de style est une fonction expérimentale : l’utilisateur crée d’abord une scène 3D, puis choisit un style telle que le dessin animé, la pâte à modeler ou les fluides, ainsi que des effets comme la pluie, la neige, la nuit ou le coucher de soleil, pour finalement affiner l’image avec du texte.

Il génère des images 2D stylisées basées sur une composition 3D, ce qui n’est pas équivalent à la conversion permanente d’une scène 3D complète en un ensemble de matériaux éditables. La stabilité des fonctionnalités expérimentales et les autorisations doivent se conformer aux indications du produit.

Construction du langage naturel Omma

Spline affiche actuellement également la direction Omma, permettant aux utilisateurs de créer des expériences interactives, des sites web, des modèles 3D et des applications en langage naturel. Il convient pour mettre en place rapidement des prototypes, mais les interactions générées par l’IA, les layouts réactifs et les performances doivent être testés manuellement.

Workflow d’images Hana AI

Hana est une toile 2D infinie développée par Spline, qui permet de générer des images à partir de texte ou d’images, et d’utiliser différents modèles tels que Flux, Nano Banana, Seedream, etc. Les utilisateurs peuvent utiliser jusqu’à six images ou frames en référence pour les combiner, les modifier et en créer des variantes.

Hana propose également la suppression d’arrière-plan, le zoom et la génération de références de cadre, permettant aux formes vectorielles, au texte et aux directives de mise en page d’influencer la sortie de l’IA, et il est possible d’ajouter les images générées à des événements et des effets.

Éditeur 3D

Après la création de l’objet, l’utilisateur peut continuer à modifier les dimensions, la position, la rotation, le matériau, la couleur, les lumières et la caméra, et il peut également utiliser des outils de modélisation de base et de scénographie pour créer une expérience complète. L’IA accélère le démarrage, mais la qualité finale dépend toujours de la conception et de l’optimisation.

Matériaux, éclairage et environnement

Spline prend en charge de multiples couches de matériaux, textures, lumières, ombres et paramètres d’environnement. Les projets web doivent gérer des textures en haute résolution, des matériaux transparents, ainsi qu’un nombre limité d’ombres et de lumières en temps réel, afin d’éviter une charge trop élevée sur les appareils mobiles.

Animation, état et événement

Les objets peuvent créer des états et des transitions, et répondre aux événements tels que la souris, le toucher, le clavier, le défilement, le démarrage, Look At et Follow. Il n’est pas nécessaire de disposer d’une programmation 3D traditionnelle pour créer des animations en survol, des interactions produits et des récits défilants.

Variables, API et Webhook

Pro offre un accès illimité aux variables, API et Webhooks, et prend en charge le stockage local des variables. Les scénarios permettent de mettre à jour du texte, des chiffres et des états en fonction des données de l’interface, ce qui les rend adaptés aux tableaux de bord en temps réel, aux configurateurs et aux produits interactifs.

Les API externes doivent passer par un proxy backend sécurisé ; les clés ne doivent pas être mises en contexte public. Il faut également gérer les problèmes de domaine cross, les tentatives de réessai en cas d’échec, la vérification des données et les limitations de vitesse.

Différences entre API en temps réel et API de code

L’API en temps réel permet de connecter des API externes dans l’éditeur Spline ; l’API Code, quant à elle, permet aux développeurs de lire des variables depuis leur code web, de modifier la position ou les matériaux des objets, de déclencher des transitions et d’écouter les événements Spline.

Les deux ont des utilisations différentes.

Insertion web

Les scènes peuvent être intégrées dans des pages web à l’aide de fragments de code. Free exporte avec une watermark Spline, Hobby supprime la watermark issue de l’exportation de page web, tandis que Pro supprime également la watermark Web Embed et offre des capacités de développement plus complètes.

Avant d’intégrer, il faut tester le chargement de la première page, le chargement différé, les appareils à faible performance, l’interaction tactile et des contenus alternatifs accessibles. Le 3D en temps réel complexe augmente la consommation de CPU, de GPU et du réseau.

React et Next.js

Les composants officiels React encapsulent Spline Runtime, permettant de charger des scènes, d’écouter des événements et d’appeler des méthodes d’objet dans les applications React et Next.js. La Code API permet de rechercher des objets, de définir la mise à l’échelle, de déclencher des événements et de modifier dynamiquement les propriétés.

Le rendu du côté serveur et le changement de routage doivent gérer correctement les imports dynamiques, le déchargement des composants et le cache des scènes, afin d’éviter des erreurs à l’affichage initial ou une utilisation répétée des ressources.

Export pour la plateforme Apple

Pro prend en charge l’export d’Apple ; il est possible d’utiliser des extraits de code Swift ou des projets Xcode générés pour intégrer les scènes sur iPhone, iPad, Mac Apple Silicon et Vision Pro. Le runtime officiel est basé sur Metal et SwiftUI.

Le runtime natif actuel exige iOS ou iPadOS 16 ou ultérieur, ainsi qu’un processeur A13 ou supérieur ; pour les Mac, il faut macOS 13 et Apple Silicon, tandis que Vision Pro requiert un M2.

Pour publier sur l’App Store, un compte développeur est également nécessaire.

Export pour la plateforme Android

Spline permet de générer des intégrations Kotlin ainsi que des APK ou AAB, afin d’ajouter des éléments 3D interactifs aux applications Android. Les performances varient considérablement en fonction du GPU et de la version du système, il est donc nécessaire de tester sur des appareils de gamme moyenne et basse.

Export de fichiers 3D et de vidéos

La plateforme prend en charge l’export vers USDZ, STL, GLTF avec couleurs et textures, ainsi que des vidéos ; les formats exacts dépendent du forfait. La conversion de format peut entraîner la perte d’événements, de couches de matériaux ou d’effets spéciaux ; il convient de valider le résultat dans le moteur cible après l’export.

Comparaison des forfaits et des prix Spline

Le forfait payant permet d’ajouter 1000 AI Credits pour 5 dollars par mois ; le plafond d’achat varie selon les forfaits. Le prix est calculé par siège, et les taxes ainsi que la monnaie locale sont indiquées sur la page de paiement.

Comment choisir entre Hobby et Pro ?

Pour une exportation de pages sans filigrane avec un nombre illimité de fichiers et davantage de ressources, Hobby est généralement suffisant ; en revanche, si vous avez besoin d’Embed sans filigrane, d’une exportation native pour mobile, d’un nombre illimité de variables, d’une API et de Webhook, il convient de choisir la version Pro ou une version supérieure.

Max et Enterprise

Max s’adresse principalement aux utilisateurs de génération d’IA à haute fréquence et inclut 10 000 Credits ; Enterprise ajoute SSO, gouvernance multi-équipes, historique des versions, export du code et export auto-hébergé, ce qui le rend plus adapté aux organisations ayant des exigences en matière de sécurité et de déploiement.

Optimisation des performances

Les pages web 3D devraient réduire le nombre de polygones, les couches de matériaux, la taille des textures, les effets lumineux en temps réel et les animations jouées simultanément, et utiliser le chargement différé ainsi que le rendu sur demande. Il convient également de les tester sur les téléphones portables, en mode batterie et avec des cartes graphiques intégrées.

Données et vie privée avec l’IA

Pour la génération par IA, il est nécessaire d’envoyer les prompts et les images de référence vers un service cloud. Avant de télécharger des produits clients, des personnages non divulgués ou des contenus sensibles, il convient de vérifier les politiques d’utilisation et d’organisation des données IA de Spline.

GitHub et l’état open source

L’éditeur principal de Spline, la génération 3D par IA, Hana, les comptes et les services cloud ne sont pas des produits open source. L’organisation officielle GitHub met à disposition les composants React, les paquets liés au Web Runtime, le runtime iOS ainsi que des projets d’exemple.

React-Spline est licencié sous la licence MIT, mais son fonctionnement en ligne ne signifie pas que l’éditeur complet ou les modèles d’IA soient open source. Les exports pour hébergement Enterprise ne donnent pas non plus accès au code source de la plateforme principale.

Guide d'utilisation de Spline AI

Terminer une tâche de base

1. Définir les tâches de codage à effectuer dans Spline AI, la portée du dépôt et les critères d’acceptation ;
2. Connectez ou importez le projet de test, et faites d’abord une sauvegarde de la branche actuelle ;
3. Utilisez d’abord Text to 3D pour créer un plan de génération 3D, puis confirmez le fichier modifié ;
4. Utiliser l’image « Image to 3D » pour générer une version 3D et apporter de petites modifications ;
5. Exécuter des tests, des vérifications statiques et la compilation ; ne pas accepter directement de code non vérifié.
6. Vérifier manuellement les droits, les clés, les dépendances et gérer les exceptions avant de fusionner ;

Créer des flux de travail professionnels réutilisables

1. Choisir un projet réel à faible risque comme modèle ;
2. Ordre d’utilisation de la conversion de texte en texte 3D pour générer en 3D, de l’image en image 3D pour générer en 3D, ainsi que de Remix et des variantes ;
3. Enregistrer l’environnement, le modèle, les indications et les conditions d’échec ;
4. Définir une approbation manuelle pour les actions d’écriture, de déploiement et de suppression ;
5. Comparer la vitesse, le coût, le taux de réussite des tests et le volume de rétravail ;
6. Vérifiez la stabilité avant de l’étendre à l’équipe ou à l’environnement de production ;

À qui s’adresse-t-il ?

• Concepteur web pour la création de sites 3D interactifs ;
• Créateur visuel capable de générer rapidement des assets 3D conceptuels ;
• L’équipe chargée de créer les configurateurs de produits et les pages d’interaction avec la marque ;
• Développeurs qui intègrent le 3D dans des projets React et Next.js ;
• Équipe chargée de créer des expériences 3D natives pour iOS, Android et Vision Pro ;
• Concepteurs qui ont besoin d’images AI 2D pour explorer des scènes 3D.

Avantages du produit

• Création de 3D, 2D, d’animations et d’interactions dans le navigateur ;
• Permet de générer des images 3D, des textures et des images stylisées à partir de texte et d’images ;
• Il est possible de créer des événements et des états sans programmation 3D traditionnelle ;
• Couvre le Web, React, Next.js, Apple et Android ;
• Fournit une version gratuite et une échelle claire de crédits AI ;
• Les autorités mettent à disposition plusieurs environnements de exécution et composants de développement.

Restrictions et précautions

• La précision de grille et la topologie des modèles générés par l’IA sont limitées, et StyleTransfer reste une fonction expérimentale.
• Les scénarios de pages web complexes entraînent des problèmes de performance et de chargement ; le code, l’hébergement auto-géré et l’historique des versions ne sont disponibles qu’en Enterprise.
• Le paiement se fait par siège, et AICredits peut également entraîner des coûts supplémentaires ;
• Les droits commerciaux des modèles, des images de référence et des actifs générés doivent être vérifiés séparément ;

Questions fréquentes

Spline AI est-il gratuit ?

Free permet de commencer à utiliser et d’expérimenter une IA limitée ; pour une génération fréquente en mode officiel et une publication sans watermark, il faut Hobby, Pro ou Max.

Spline AI peut-il transformer des images en 3D ?

Oui, Image to 3D utilise une image frontale pour influencer la génération, mais l’arrière et les zones cachées sont déduits par l’IA.

Les splines peuvent-elles être intégrées dans React ?

Oui, des composants React et Next.js ainsi qu’une API de code sont fournis officiellement.

Combien coûte Spline Pro ?

Le prix de référence est de 20 dollars par siège et par mois en paiement annuel, ou 25 dollars par siège et par mois en paiement mensuel.

Spline est-il open source ?

L’éditeur principal et la plateforme d’IA ne sont pas open source ; certains composants officiels tels que les runtimes React, Web et iOS sont publiés.