Baidu Xiling

Qu’est-ce que Baidu Xiling ?

Baidu Xiling est une plateforme de création de personnages numériques, d’employés numériques et de contenus marketing lancée par Baidu Smart Cloud. Elle couvre les vidéos de personnages numériques, la diffusion en direct, l’interaction en temps réel, les questions-réponses sur les connaissances entreprises, la personnalisation de l’image, le clonage de la voix et des composants pour développeurs. Elle propose à la fois une station de travail de création accessible aux utilisateurs ordinaires, ainsi que des API, des SDK et du MCP pour l’intégration par les entreprises.

Xi Ling n’est pas un simple « générateur de contenu audiovisuel numérique ». Le produit actuel se divise en une plateforme de création de contenu marketing et une plateforme ouverte pour les employés numériques : la première met l’accent sur le contenu et la gestion des streams en direct, tandis que la seconde privilégie la combinaison d’éléments tels que l’image, les vidéos, l’interaction et les composants de streaming en direct.

Portraits publics et timbres de voix

La documentation officielle du produit indique actuellement la disponibilité de plus de 800 visages publics et de plus de 150 timbres audio publics, pouvant être utilisés pour les vidéos, les streams en direct et les applications de conversation. Les composants, les formats d’image et les niveaux d’autorisation adaptés à chaque personnage peuvent varier.

La disponibilité publique ne signifie pas que toutes les utilisations commerciales sont gratuites à vie. Avant d’acheter, il convient de vérifier la durée d’utilisation, les médias, les régions, les marques et les restrictions relatives aux secteurs sensibles.

Personnage numérique photo

Les avatars numériques à partir de photos peuvent générer rapidement une image numérique 2D à partir d’une seule photo de portrait, à utiliser pour des vidéos d’avatars numériques ou des interactions de rendu côté client. Le service de personnalisation de base est actuellement facturé 20 yuans par utilisation, avec un tarif linéaire pour les forfaits par lots.

Les mouvements et les changements de point de vue d’une seule photo sont limités ; l’image doit être nette, montrant le visage de face, et une autorisation pour usage portrait doit être obtenue.

Personnage numérique 2D à petit échantillon

Les avatars numériques 2D à petit échantillon sont entraînés en enregistrant des vidéos de personnes réelles. Pour les mouvements labiaux universels, il est généralement nécessaire de disposer de vidéos avec la bouche fermée d’une durée de 1 à 4 minutes ; le prix actuel sur mesure est de 1000 yuans par session.

Les formes de bouche exclusives nécessitent généralement de 4 à 8 minutes de prononciation, au tarif actuel de 2000 yuans par séance.

La lumière de prise de vue, les vêtements, les mouvements et l’arrière-plan influencent le résultat final. L’image d’entraînement peut être utilisée pour des composants vidéo, interactifs et en direct, mais chaque composant nécessite l’achat du service correspondant.

Personnage numérique génératif

La version de base générative peut être entraînée en téléchargeant une photo de portrait ; selon les documents, le processus dure environ 40 minutes. Le prix actuel est de 20 yuans par utilisation, et elle est principalement utilisée pour les composants vidéo. La version avancée offre des mouvements et des états d’interaction plus naturels, prend en charge les vidéos et les interactions, et son prix actuel est de 2000 yuans par utilisation.

La version de base n’est pas adaptée aux interactions en temps réel nécessitant un basculement naturel entre le mode écoute et le mode diffusion. Il convient de visionner des extraits avant de faire son choix.

Personnage numérique 3D

Xi Ling propose la génération de contenu 3D à partir de texte, des dessins animés 3D ainsi que l’adaptation de modèles d’entreprise. Les avatars numériques 3D peuvent être utilisés dans des vidéos et des interactions, et prennent en charge différentes résolutions horizontales et verticales, ainsi que des formats en buste ou en plein corps.

La version accélérée de personnalisation 3D affiche actuellement 60 000 yuans par portrait individuel. Lorsque l’entreprise fournit des dessins originaux ou des modèles, une adaptation est nécessaire, ce qui peut prendre plusieurs semaines.

Hyper-réalisme 2D et rendu côté client

Les avatars numériques 2D ultra-réalistes sont formés à l’aide de vidéos en silence et en mouvement, destinés à l’interaction dans le cloud ; quant aux avatars numériques rendus en 2D, ils fonctionnent sur des appareils terminaux et conviennent aux grands écrans, aux applications ainsi qu’à des scénarios spécifiques hors ligne ou à faible latence.

Le rendu côté serveur nécessite un SDK, une licence, une compatibilité avec les appareils et des ressources TTS ; il n’est pas possible de lancer le service directement en achetant simplement un avatar.

Vidéo de l’humain numérique 123

123 Digital Human est l’un des composants de génération vidéo de Xiling, permettant de créer des voix numériques à partir d’images, de sons et de texte, et offrant une interface officielle. Il convient pour la production en masse de contenus journalistiques, pédagogiques et marketing.

Les tâches en lot doivent gérer les états asynchrone, les appels de retour, les tentatives de réessai en cas d’échec et le téléchargement des résultats ; les scripts de sortie doivent également faire l’objet d’une vérification des faits et de la conformité.

Station de création vidéo

La plateforme de contenu marketing liste actuellement diverses méthodes de création, telles que la génération de vidéos à partir d’images de produits, la traduction de vidéos, la conversion d’idées en vidéos, des vidéos soigneusement compilées, de la publicité IA, la génération de PPT, des cartes de visite IA et des vidéos de diffusion.

Les tables de travail réduisent les barrières à la montage, mais les produits, sous-titres, prix et mouvements des personnages générés par l’IA peuvent contenir des erreurs ; une vérification manuelle est encore nécessaire avant la publication officielle.

Images de produits et publicité IA

Les vidéos à partir d’images de produits permettent de transformer des éléments statiques en courts métrages marketing, tandis que la publicité basée sur l’IA génère rapidement du contenu à partir des points forts du produit, du scénario et d’avatars numériques, ce qui est adapté au e-commerce et à la gestion des magasins.

Le modèle peut modifier le texte sur l’emballage et les détails du produit. L’efficacité de la publicité, les prix, les stocks et les dates limites des offres doivent correspondre à la réalité commerciale.

Traduction vidéo

Xi Ling propose une interface de traduction vidéo capable de gérer la voix, les sous-titres, la doublage dans la langue cible et l’orientation des lèvres des personnages, idéale pour le marketing transfrontalier et la formation.

Les termes techniques, les expressions culturelles et les clauses de décharge nécessitent une révision par un locuteur natif, et l’utilisation de la voix clonée doit être autorisée.

Diffusion en direct de personnes numériques

Le composant de diffusion en direct permet à des avatars numériques 2D à faible résolution de diffuser en continu, en intégrant des scripts intelligents, des interactions via les messages en temps réel et une mise en page personnalisée de la salle de diffusion. La plateforme marketing prend également en charge l’autorisation de plateformes telles que Meituan, Taobao, JD.com, ainsi que la consultation des données de diffusion en direct.

Même sans diffusion en direct, il est nécessaire de respecter les règles de la plateforme et les exigences relatives aux identifiants de synthèse par IA. Des interventions humaines doivent être prévues pour les produits et les réponses interactives.

Personnage numérique pour la conversation en temps réel

Les composants interactifs combinent la reconnaissance vocale, les grands modèles, les bases de connaissances, la synthèse vocale et le rendu d’avatars numériques pour créer des dialogues en temps réel. Les utilisateurs peuvent configurer des avatars numériques dotés de connaissances, de compétences et de personnalité.

Les applications en temps réel doivent gérer les retards, les interruptions, les questions sensibles, les hallucinations et les anomalies réseau. Les scénarios à haut risque tels que la santé ou la finance doivent être transférés à un intervenant humain.

Base de connaissances et agents intelligents

La plateforme permet de télécharger des documents pour créer une base de connaissances personnalisée, permettant aux avatars numériques de répondre aux questions en s’appuyant sur des informations générales, sectorielles et propres à l’entreprise. Elle est adaptée aux salons d’exposition d’entreprise, au service client, à la formation et aux visites guidées.

La base de connaissances nécessite des mises à jour de version, des droits d’accès et une vérification des références. Les réponses des grands modèles ne peuvent pas remplacer les politiques officielles et les contrats.

Clonage de voix

La version LITE de la clonation de voix coûte actuellement 10 yuans par utilisation, tandis que la clonation de voix standard coûte 200 yuans par utilisation. Les deux offrent des forfaits de 10 et 100 utilisations. Le TTS une fois entraîné peut être utilisé dans des vidéos de personnes numériques, des éléments interactifs et des diffusions en direct.

Avant la clonage, il est impératif d’obtenir le consentement explicite du locuteur et de respecter l’accord de clonage de Xiling. Il est interdit de se faire passer ou de falsifier une autorisation.

Synthèse vocale et SSML

La plateforme propose une API de synthèse vocale et un contrôle SSML, permettant d’actionner des avatars numériques à partir de texte, ainsi que d’ajuster les pauses, le rythme et la prononciation. L’interaction avec un rendu côté client nécessite généralement des paquets de caractères et une concurrence.

Actuellement, le forfait de caractères TTS coûte 100 yuans pour 100 000 caractères et 1 000 yuans pour 1 million de caractères, avec une validité d’un an ; l’extension de capacité en parallèle coûte 40 yuans par mois ou 400 yuans par an.

Forfait durée de génération vidéo

Les composants vidéo de la plateforme ouverte sont facturés par période de création, avec une durée de validité généralement d’un an. Un avatar numérique photo coûte 45 yuans pour 10 minutes, les mini-modèles 2D et les avatars numériques 123 coûtent 30 yuans pour 10 minutes, les modèles 2D de haute qualité coûtent 40 yuans, et les avatars numériques 3D coûtent 50 yuans.

100 minutes et 1000 minutes sont majorés au même tarif unitaire. Le pool de ressources publiques ne propose pas de concurrence exclusive, et la vitesse en période de pointe est influencée par les ressources partagées.

Concurrence exclusive pour la vidéo

Pour les avatars numériques à usage exclusif, le tarif concurrentiel actuel est de 4 500 yuans par mois ou 45 000 yuans par an ; pour les petits échantillons 2D, les produits haut de gamme 2D, ainsi que les avatars 3D et 123, le tarif est généralement de 2 000 yuans par mois ou 20 000 yuans par an.

La facturation par vidéo permet d’acheter uniquement des forfaits de durée, ou bien des forfaits de durée associés à une capacité de concurrence exclusive. Pour les tâches de petite envergure, on peut d’abord utiliser le pool public.

Comparaison des prix et des versions

Prix interactif de la rendu cloud

Pour la rendu en nuage 2D interactif, les tarifs actuels sont de 800 yuans pour 7 jours, 2 400 yuans par mois et 24 000 yuans par an ; pour le 3D, ils sont de 1 200 yuans pour 7 jours, 3 600 yuans par mois et 36 000 yuans par an.

Les applications interactives ont également besoin de ressources telles que des images, de la voix, de grands modèles et d’Internet ; le coût total ne peut pas se baser uniquement sur le prix par connexion simultanée.

Prix du SDK de rendu côté serveur

La licence de rendu pour les avatars numériques basés sur des photos en format H5 coûte actuellement 10 000 yuans par mois ou 100 000 yuans par an. Pour le rendu en 2D, une autorisation d’utilisation du matériel est proposée au prix de 3 600 yuans par unité, et une autorisation d’utilisation de l’application au prix de 36 000 yuans par unité.

L’autorisation d’application ne couvre que des appareils limités sur un seul système, qu’il s’agisse d’Android ou d’iOS.

La rendu 3D est facturé en fonction du nombre de concurrents : actuellement 120 yuans pour 7 jours, 360 yuans par mois, 3600 yuans par an. Les spécifications d’adaptation et les limites par appareil dépendent du contrat.

Prix des composants de diffusion en direct

L’API de diffusion en direct pour des avatars numériques 2D à petite échelle offre actuellement 700 yuans pour 7 jours, 2 000 yuans par mois ou 20 000 yuans par an en concurrence exclusive, avec également la possibilité d’accéder temporairement à la bibliothèque standard d’images de personnes.

La diffusion en direct nécessite également un entraînement de l’image, du contenu, de la voix et des ressources de streaming ; acheter séparément ces éléments ne constitue pas une solution complète.

Pourquoi acheter en groupe ?

Le guide des prix officiel précise que l’achat séparé de produits tels que les avatars, la voix off ou l’interaction ne permet généralement pas de créer directement une application finale. Les avatars répondent à la question « qui apparaît », la durée ou la concurrence répondent à la question « comment générer », tandis que le TTS et les grands modèles répondent à la question « quoi dire et comment répondre ».

Avant l’achat, il convient de dessiner la chaîne complète et de choisir les composants en fonction de vidéos, de streams en direct ou de scénarios interactifs.

API et SDK

Les documents de Xiling offrent le téléchargement de fichiers, la personnalisation d’images, le clonage de voix, la synthèse vidéo, la génération de vidéos à partir d’images, la traduction vidéo, le montage, le rendu en cloud, la gestion de sessions, la diffusion en flux et des SDK multi-plateformes.

L’accès à la production doit assurer l’authentification et la vérification, gérer les appels de retour, limiter la concurrence, enregistrer les résultats des tâches et gérer les mises à jour de licence.

Personnage numérique MCP

La plateforme ouverte est désormais compatible avec MCP, ce qui permet aux applications de grands modèles prenant en charge MCP de télécharger des contenus, de créer des avatars numériques, de synthétiser des voix et de lancer des requêtes pour invoquer les capacités de Xiling au cours de conversations.

L’utilisation de MCP nécessite toujours un compte de plateforme, des droits d’accès et un protocole de clonage ; cela ne signifie pas qu’il s’agit d’une solution gratuite ou pouvant fonctionner en local.

Est-ce open source ?

La plateforme Xiling, les modèles d’humains numériques, les services de rendu et les SDK sont des produits commerciaux à code fermé ; aucun code source complet ou poids de modèle officiellement publiés n’a été trouvé.

Le fait que GitHub prenne en charge des projets de personnalités numériques tierces intégrant Baidu Xiling ne signifie pas pour autant que Xiling lui-même soit open source.

Guide d’utilisation de Baidu Xiling

Terminer une tâche de base

1. Déterminer le public cible, la plateforme, l’aspect, la durée et les informations à communiquer ;
2. Préparer des scripts, des plans ou des matériaux de référence pouvant être utilisés dans Baidu Xiling ;
3. Sélectionnez un portrait public et une timbre de voix pour générer une prévisualisation à faible coût ;
4. Utiliser des avatars numériques avec des photos pour ajuster l’image, le rythme, les sous-titres et le son ;
5. Vérifier frame par frame les personnages, le texte, le logo, la forme des lèvres et l’exactitude factuelle ;
6. Exporter selon les spécifications ciblées après confirmation de l’autorisation pour la musique, les portraits et les matériaux ;

Créer des flux de travail professionnels réutilisables

1. Créer des scripts, des fiches de tournage, des matériaux de marque et une liste d’éléments interdits ;
2. Conserver des paramètres unifiés pour les portraits publics et leurs timbres vocaux, les avatars numériques de photos et les petits avatars numériques 2D ;
3. Testez d’abord le modèle et les limites avec des scènes représentatives ;
4. Transférer les plans ratés pour un montage manuel ou une régénération ;
5. Unifier les sous-titres, le volume, les couleurs et les informations de droits d’auteur en fin de film ;
6. Enregistrez la version et l’auditeur avant de publier en masse ;

À qui s’adresse-t-il ?

• Équipe chargée de créer des podcasts numériques et des cours en masse ;
• Les entreprises qui mettent en place des livestreams de commerce électronique et des vidéos marketing ;
• Organismes chargés de la construction d’espaces d’exposition, du service client, de l’accompagnement des visiteurs et de la formation des employés numériques ;
• Développeurs ayant besoin d’un SDK de personnage numérique 2D, 3D ou en langue des signes ;
• Les plateformes ayant besoin de clonage de voix, d’API et d’intégration MCP.

Avantages du produit

• Scénarios de vidéo, diffusion en direct, interaction et agents intelligents complets ;
• Ressources abondantes en portraits publics et en timbres sonores ;
• Les photos, 2D, 3D et la rendu en bout de chaîne présentent une grande diversité de formes ;
• Le tableau des prix officiels est décomposé en durée, concurrence et licence ;
• Fournir des API, des SDK et un MCP ;
• On peut combiner Baidu Cloud avec les capacités des grands modèles.

Restrictions et précautions

• Nombreux composants du produit, combinaison d’achats complexe ;
• L’image, la durée de génération, le nombre de connexions simultanées, les licences d’interaction, le TTS, les grands modèles et les ressources cloud peuvent être facturés séparément ;
• Les personnes numériques, la voix et le contenu marketing relèvent de la protection du portrait, de la voix, des droits d’auteur et de la conformité publicitaire ;
• Tous les résultats générés par l’IA doivent faire l’objet d’une vérification manuelle ;

Questions fréquentes

Baidu Xiling est-il gratuit ?

En vous connectant, vous pouvez bénéficier de certains avantages d’essai ; une fois la quantité gratuite épuisée, il faudra l’acheter dans la boutique de composants. Pour une utilisation professionnelle, le paiement se fait au prorata des composants utilisés.

Combien coûte un avatar numérique photo ?

La personnalisation d’images est actuellement à 20 yuans par fois, la création de vidéos de 10 minutes coûte 45 yuans ; les applications interactives nécessitent en outre des composants tels que SDK et TTS.

Combien coûte la clonage de voix ?

La version LITE coûte actuellement 10 yuans par utilisation, la version standard 200 yuans par utilisation ; des forfaits de quantité sont disponibles pour les deux.

Est-il possible de faire une diffusion en direct avec un avatar numérique ?

Oui, l’API de diffusion en direct à petite échelle 2D est actuellement réservée à un nombre de connexions simultanées d’environ 2000 yuans par mois, et nécessite également des ressources telles que des visuels et du contenu.

Baidu Xiling dispose-t-elle d’une API ?

Il dispose d’une API complète, de H5 et d’SDK pour les appareils mobiles, prend en charge MCP, et couvre la vidéo, l’interaction, la diffusion en direct et la personnalisation.

Baidu Xiling est-il open source ?

Pas de code source ouvert. Le code source complet de la plateforme principale, des modèles et des services de rendu n’est pas publié.