Convai

Qu’est-ce que Convai ?

Convai est une plateforme de personnages IA en temps réel développée par Convai Technologies Inc., qui aide principalement les jeux, la XR, les mondes virtuels et les programmes de formation à créer des PNJ ou des personnes virtuelles capables de dialoguer, de percevoir leur environnement et d’exécuter des actions.

Il combine les personnages, les connaissances, les modèles de langage, la voix, la vision, l’animation et les interfaces en temps de exécution ; les développeurs peuvent créer des personnages à l’aide d’outils sans code, puis les intégrer dans Unity, Unreal Engine ou des expériences web.

Fonction principale

Pensée de rôle et base de connaissances

• Le créateur de personnages permet de définir le nom, l’histoire de fond, les objectifs, le caractère, le style de parole et les limites de comportement, afin de régir l’identité du personnage et sa manière de répondre.
• La base de connaissances permet de télécharger des documents de projet, permettant aux personnages de répondre en se basant sur un univers, un produit, un cours ou une tâche spécifiés, plutôt que de s’appuyer uniquement sur les connaissances des modèles généraux.
• La conception narrative et la configuration des actions permettent de définir des événements, des objectifs et des comportements pouvant être invoqués, afin que le dialogue puisse faire avancer les tâches ou le déroulement du jeu.

Dialogue vocal en temps réel et multilingue

• Recevoir en temps réel les entrées vocales ou textuelles du joueur, et retourner du texte, une voix synthétisée ainsi que des actions de personnage associées à la réponse.
• La plateforme propose plus de 60 langues et plus de 500 options de voix ; les langues, les voix spécifiques ainsi que les crédits de voix tierces dépendent du forfait actuel.
• L’expérience en temps réel est influencée par le réseau, la reconnaissance vocale, la réponse du modèle et la chaîne de rendu ; il convient de tester les délais dans la région et sur les appareils cibles avant la publication.

Vision et perception de l’environnement

• La capacité visuelle peut recevoir des images de la caméra, une vue à la première personne ou des informations sur le décor du jeu, permettant au personnage de décrire les objets et de réagir en fonction de l’environnement.
• Les développeurs peuvent transmettre aux personnages des métadonnées de scène, des objets et des états, afin que les réponses soient en lien avec l’endroit actuel, les objets visibles ou les événements.
• L’identification visuelle peut omettre des objets ou interpréter à tort une situation ; lorsqu’il s’agit de sécurité, d’évaluation éducative et d’opérations dans le monde réel, on ne peut pas se fier uniquement aux résultats automatisés.

Mouvements, animation et synchronisation des lèvres

• Les personnages peuvent déclencher des gestes, des expressions faciales, des mouvements des lèvres et des animations côté serveur en fonction du dialogue, et peuvent également exécuter des séquences d’actions complexes configurées par le développeur.
• Les interfaces d’action conviennent pour des tâches telles que l’ouverture de portes, la récupération d’objets, le déplacement, l’orientation ou la lecture d’animations, mais le code du projet doit exposer de manière sécurisée les actions disponibles aux personnages.
• Avatar Studio permet de configurer l’apparence, les vêtements, les scènes, l’éclairage, la caméra et l’animation sur une page web, ce qui réduit le travail artistique et scriptuel lors de la phase de prototype.

Mémoire, évaluation et versions de rôle

• Le plan payant offre des fonctionnalités de mémoire à long terme et de versions de personnages, permettant aux personnages de conserver des informations entre sessions et de gérer différentes versions après modification.
• Les solutions Professional et supérieures offrent une fonction d’évaluation des sessions, idéale pour vérifier la qualité de l’interaction, la cohérence des rôles et l’exécution des tâches.
• La mémoire augmente le risque de conservation à long terme d’informations personnelles et d’informations erronées ; les projets doivent limiter le contenu qui peut être enregistré et prévoir des mécanismes de suppression, de correction et de recommencement.

Expérience sans code et capture de mouvement

• Playground sert à créer, ajuster et tester des personnages, idéal pour valider le personnage, les connaissances et l’efficacité des dialogues avant d’écrire du code.
• Convai Sim est conçu pour des simulations à grande échelle, permettant aux personnages de naviguer dans la scène et d’interagir avec les objets.
• XR Animation Capture permet d’enregistrer les mouvements du corps à l’aide d’un appareil Meta Quest, puis d’utiliser ces animations pour les personnages dans Unity.

Entrée et sortie

Processus d'utilisation

1. Inscrivez-vous et créez un personnage, en remplissant son histoire de fond, son caractère, ses objectifs, sa langue et son style de parler.
2. Télécharger des documents de connaissance dont on a le droit d’utiliser, définir les sujets auxquels les personnages peuvent répondre, les contenus interdits et les règles narratives.
3. Testez le personnage dans Playground à l’aide de plusieurs tours de texte et de voix, pour vérifier les faits, le ton, les retards et les entrées anormales.
4. Choisissez le SDK Unity, un plugin Unreal Engine, un plugin Web ou une API, créez une clé de projet et connectez-vous selon la documentation.
5. Associer les objets de scène, les actions, les animations et les informations visuelles aux personnages, en limitant les opérations exécutables et leurs permissions.
6. Publier uniquement après avoir effectué des tests de concurrence, de quotas, de confidentialité, de sécurité du contenu et de récupération en cas d’échec sur le dispositif cible et dans l’environnement réseau.

Plateforme et intégration

Forfait de prix

Une interaction est comptée pour une entrée utilisateur et une réponse du rôle, tant pour la voix que pour le texte. Les interactions mensuelles non utilisées ne sont pas reportées, et le quota de concurrence est calculé sur la somme de tous les rôles et utilisateurs sous la même clé API.

Le prix annuel de Business est actuellement affiché avec une « offre limitée dans le temps » ; ce prix ne comprend pas les taxes éventuellement applicables. La région, le compte, les promotions et le cycle de règlement peuvent influencer le montant final ; il convient de se référer à la page de règlement réelle ou au contrat de vente.

Différences importantes dans le plan

API, SDK et statut open source

• La plateforme fournit des références API, un SDK Unity, des plugins pour Unreal Engine, des plugins Web, un framework de modules et des projets d’exemple, qui peuvent être utilisés pour personnaliser l’intégration en temps de exécution.
• Le SDK actuel d’Unreal Engine et son dépôt de plugins anciens sont soumis à la licence Apache 2.0, tandis que certains dépôts de Unity WebGL, de Web SDK et d’exemples ne précisent pas de licence.
• Le fait qu’un dépôt de code soit accessible au public ne signifie pas qu’une autorisation de copie ou d’utilisation à des fins commerciales est accordée ; les dépôts sans licence doivent être traités comme étant protégés par le droit d’auteur par défaut.
• La plateforme de rôles de gestion, les modèles, les comptes et les services cloud de Convai ne constituent pas un produit entièrement open source ; le fait que des SDK ou des plugins soient open source ne signifie pas pour autant que la plateforme l’est.

Droits sur le contenu, vie privée et sécurité

• Les clauses classent les personnages, les connaissances, les scénarios, la voix, le texte et les informations visuelles comme du contenu client, et précisent que le client conserve la propriété tant du contenu client que du contenu généré par l’IA.
• Le pack Creator accorde à Convai une licence mondiale et sans redevance pour stocker et utiliser du contenu client ainsi que du contenu généré par l’IA afin de développer et d’améliorer les services, sauf accord écrit contraire.
• Le forfait Enterprise ne collecte, ne stocke ni n’utilise les données générées par l’utilisateur sans un accord explicite, et la manière dont elles sont traitées est déterminée par l’accord d’entreprise et les paramètres configurés.
• La politique de confidentialité indique que des informations relatives aux communications du compte, aux appareils, aux adresses IP, à l’utilisation, à la localisation estimée et aux interactions avec les rôles sont collectées, et pourraient être partagées avec des fournisseurs de services tels que le cloud, l’hébergement et l’analyse.
• Une fois le compte fermé, la politique stipule que les données du compte seront supprimées dans un délai de 30 jours ; en cas d’inactivité continue du compte, les données seront supprimées après deux ans, tandis que d’autres données peuvent être conservées à des fins commerciales et de conformité.
• Les données peuvent être transmises aux États-Unis ; lorsque l’utilisateur déploye des rôles destinés aux utilisateurs finaux, il doit lui-même fournir des notifications, obtenir les consentements nécessaires et gérer les droits des utilisateurs finaux.
• La plateforme offre des mécanismes de sécurité pour le contenu et propose des options de déploiement sécurisé, conforme aux réglementations et localisé pour les solutions professionnelles, mais la transmission réseau et les modèles génératifs ne peuvent pas garantir l’absence d’erreurs ou une sécurité absolue.

Paiements, remboursements et restrictions d'utilisation

• L’abonnement payant est facturé selon le cycle de facturation, le paiement n’est généralement pas remboursable, sauf accord contraire des deux parties ; les taxes doivent être assumées séparément.
• Les prix de mise à niveau prennent généralement effet dès le cycle de facturation suivant ; les dates d’annulation, les modalités de downgrade et l’affectation des crédits restants doivent être confirmées sur la page de règlement du compte.
• Il est interdit de créer plusieurs comptes pour obtenir à plusieurs reprises des crédits gratuits ; une utilisation anormale peut entraîner des frais selon les tarifs standards ou la résiliation du service.
• Les réponses des personnages, la reconnaissance visuelle et les décisions de mouvement peuvent être imprécises ; la formation médicale, juridique, financière ou en matière de sécurité, ainsi que le contrôle d’équipements réels, nécessitent une supervision humaine supplémentaire et des règles déterministes.
• L’agrégation en parallèle se fait selon la clé API ; plusieurs rôles ou un grand nombre d’utilisateurs finaux partageront la limite maximale ; des tests de capacité doivent être effectués en fonction du trafic maximal avant le lancement.
• Les voix, modèles, avatars, moteurs de tiers ainsi que le rendu cloud peuvent comporter des frais supplémentaires, des licences et des conditions de traitement des données.

Questions fréquentes

À quoi sert principalement Convai ?

Il est utilisé pour créer des PNJ IA et des personnages virtuels capables de dialoguer par voix ou par texte, de percevoir les scènes, d’exécuter des actions et de générer des animations, adaptés aux jeux, à la XR, à la formation et aux mondes virtuels.

Quelle est la limite du forfait gratuit ?

Le forfait Free comprend 100 interactions par mois, 60 minutes de rendu cloud et 1 rôle en parallèle ; les interactions non utilisées ne sont pas reportées.

Convai prend-il en charge Unity et Unreal Engine ?

Soutien. Les développeurs peuvent utiliser le SDK Unity, les plugins Unreal Engine ainsi que des plugins web et des API pour intégrer les personnages dans différents environnements de fonctionnement.

Convai est-il un produit open source ?

Ce n’est pas un produit entièrement open source. Certains plugins Unreal sont licenciés sous la licence Apache 2.0, mais la plateforme d’hébergement et les dépôts sans licence ne peuvent pas être considérés comme open source pour autant.

Le contenu généré peut-il être utilisé à des fins commerciales ?

Les conditions stipulent que le client est propriétaire du contenu client et du contenu généré par l’IA, mais l’utilisateur doit néanmoins s’assurer que les données saisies, les voix tierces, les avatars, les animations ainsi que le produit final ne portent pas atteinte aux droits d’autrui et respectent les conditions spécifiques du forfait et les licences tierces.

Convai utilisera-t-il les données des personnages pour améliorer le service ?

Les conditions du forfait Creator autorisent son stockage et son utilisation de contenu client et de contenu généré par l’IA pour développer et améliorer les services, sauf accord écrit contraire ; le traitement des données dans le forfait Enterprise est déterminé par un consentement explicite, des paramètres configurés et un accord d’entreprise.