Compréhension auditive de Tongyi

Qu’est-ce que Tongyi Tingwu ?

Tongyi Tingwu est un service de transcription audiovisuelle et de compréhension du contenu lancé par Alibaba Cloud. S’appuyant sur le grand modèle Qianwen ainsi que sur les capacités d’IA pour la voix et la vidéo, il transforme des réunions, des entretiens, des cours, des formations, des présentations en direct et des contenus enregistrés en texte searchable, tout en générant des résumés, des chapitres, des synthèses des interventions, des tâches à effectuer, des mots-clés et des résultats de questions-réponses.

Les produits se divisent en l’application Tongyi Tingwu destinée aux particuliers et en l’API Alibaba Cloud Tingwu destinée aux entreprises. Les utilisateurs individuels peuvent l’utiliser via des pages web, des mini-programmes DingTalk et des extensions de navigateur ;

Les entreprises peuvent intégrer la transcription en temps réel, l’analyse de fichiers et la traduction dans les systèmes OA, IM, CRM, éducatifs, de gestion de médias et de service client.

Fonctionnalités clés

1. Transcription en temps réel d’enregistrements audio

Enregistrement en temps réel du micro récepteur ou du flux audio, retour du texte reconnu au cours de la réunion, et génération simultanée d’une analyse par IA ultérieure. Les documents officiels de performance indiquent un retard de fin de transmission d’environ 300 millisecondes ; en pratique, il est influencé par le réseau, la qualité audio, la langue et le modèle.

L’interface en temps réel prend en charge jusqu’à trois entrées audio, ce qui permet de distinguer les différents canaux. La séparation des locuteurs ne permet d’identifier que « des personnes parlant différemment » ; elle ne permet pas de savoir automatiquement qui est le client, le supérieur ou une personne en particulier, et il est nécessaire de redonner des noms manuellement après la réunion.

2. Transcription de fichiers audio et vidéo

Après avoir téléchargé ou soumis des fichiers audio et vidéo enregistrés, le système génère en mode hors ligne un script mot par mot ainsi que des timestamps. Les formats audio pris en charge sont MP3, WAV, M4A, WMA, AAC, OGG, AMR, FLAC et AIFF.

La vidéo prend en charge MP4, WMV, M4V, FLV, RMVB, DAT, MOV, MKV, WEBM, AVI, MPEG, 3GP et OGG.

Un seul fichier ne doit pas dépasser 6 Go et sa durée ne doit pas dépasser 6 heures. L’API lit les contenus à l’aide d’adresses de fichiers accessibles via Internet, sans recevoir directement de chemins locaux ;

Il est recommandé que l’adresse de signature avec date d’expiration reste valide au moins 3 heures, afin qu’elle ne devienne pas invalide pendant l’enfilement des tâches.

3. Reconnaissance multilingue

Les fichiers et les services en temps réel prennent en charge le chinois, l’anglais, le cantonais, le japonais, le coréen, ainsi que des modes de conversation libre en chinois, en anglais, en japonais, en coréen, en cantonais, en allemand, en français et en russe. La combinaison spécifique dépend du taux d’échantillonnage et de l’interface en temps réel ou hors ligne.

Le fait que plusieurs personnes parlent en même temps, les dialectes, les échos à longue distance, le bruit, les termes spécialisés et une surcharge sonore réduisent tous la précision. Pour les réunions importantes, il convient d’utiliser des microphones indépendants, des canaux audio clairs et un glossaire, ainsi que de relire l’enregistrement original avant de publier les comptes rendus.

4. Traduction en temps réel et hors ligne

Tongyi Tingwu permet une traduction bidirectionnelle en temps réel entre le chinois, l’anglais, le japonais, le coréen, l’allemand, le français et le russe, et prend également en charge la traduction hors ligne de fichiers audio et vidéo. Zhongying Zifuyue peut traduire en chinois, en anglais ou afficher simultanément les deux langues.

Les frais de traduction s’ajoutent aux frais de transcription ; lorsqu’une sortie en langue cible est fournie en deux exemplaires, le tarif est calculé pour deux exemplaires. Les noms propres, les termes techniques, les chiffres et les formulations juridiques doivent être vérifiés par un locuteur natif ou un professionnel.

5. Aperçu des chapitres et résumé du texte complet

Le système divise les enregistrements longs en sections en fonction des sujets abordés, génère un thème et une localisation pour chaque section, et crée un résumé du texte complet. L’utilisateur peut cliquer sur un point temporel pour revenir à l’enregistrement original et le vérifier, ce qui est idéal pour parcourir rapidement de longues réunions ou cours.

Le résumé est une compression du texte transcrit par le modèle ; les erreurs de reconnaissance se transmettent au résumé. Il ne faut pas se fier uniquement au résumé pour prendre des décisions financières, juridiques, en matière de ressources humaines ou concernant les engagements envers les clients.

6. Résumé du discours, tâches à accomplir et mots-clés

La synthèse des interventions résume les points de vue selon l’orateur, les tâches à accomplir indiquent le responsable, la mission et le délai, tandis que les mots-clés et les éléments clés facilitent la recherche. Pour rendre un texte oral plus formel, on peut supprimer les répétitions et les mots modaux, afin d’obtenir un compte rendu plus lisible.

Le modèle peut interpréter à tort les suggestions de discussion comme des tâches confirmées, ou omettre les mots négatifs. Les tâches à effectuer doivent être confirmées par les participants à la réunion et synchronisées dans le système officiel de gestion de projets.

7. Révision des réponses et prompts personnalisés

Les utilisateurs peuvent poser des questions sur le contenu déjà transcrit, permettant au système de localiser les paragraphes pertinents et de fournir des réponses. L’API d’entreprise prend également en charge des prompts personnalisés pour extraire des champs spécifiques à partir de la conversation ou générer des résumés sur mesure.

Soumettre plusieurs prompts en une seule fois entraînera des frais distincts. Les prompts doivent spécifier la structure de la sortie, les valeurs manquantes et les points de référence temporels, et limiter le modèle à répondre uniquement sur la base du contenu audiovisuel, afin de réduire les ajouts non fondés.

8. Carte mentale

Tongyi Tingwu permet de structurer les thèmes audiovisuels et leurs relations hiérarchiques en cartes mentales, utiles pour la révision des cours, l’organisation des réunions et la mise en ordre des entretiens. Les cartes mentales fournissent une synthèse automatique, mais les arguments complexes doivent toujours être consultés avec le texte original.

9. Extraction et résumé de vidéos PPT

Pour les vidéos contenant des présentations, le système peut extraire les diapositives PPT et générer un résumé de l’exposé. Il prend en charge soit le mode PPT complet, soit le mode conférence ; une vidéo d’une heure est généralement traitée en environ 2 à 5 minutes, avec un maximum d’200 diapositives extraites.

Cette fonctionnalité exige que le PPT occupe la zone principale de l’écran vidéo, et que les personnes ne se déplacent pas ou ne bloquent pas la vue du projeteur pendant une longue période. Les petits caractères, les animations et les changements fréquents peuvent affecter la qualité du tirage.

10. Contrôle de qualité des services et extraction du contenu des dialogues

L’API d’entreprise fournit un contrôle de qualité des services et une extraction du contenu des conversations, utilisés pour les ventes, le service client, les entretiens et l’analyse des centres d’appels. L’entreprise doit obtenir au préalable l’autorisation d’enregistrer et d’analyser automatiquement, et informer clairement ses employés ainsi que ses clients.

Mode d'utilisation de la version personnelle

Les utilisateurs individuels peuvent se connecter à l’application Tongyi Tingwu avec leur numéro de téléphone portable, enregistrer via le micro, télécharger des fichiers audio et vidéo, importer des fichiers depuis Alibaba Cloud Disk, et consulter les transcriptions, résumés et autres résultats générés par l’IA. Les mini-programmes DingTalk et les extensions navigateur conviennent aux réunions et aux utilisations sur le web.

Les quotas gratuits pour les applications personnelles et les règles de membre peuvent différer de celles du kit de développement d’Ali Cloud. Les essais API listés dans le catalogue ne peuvent pas être directement assimilés aux prix des abonnements pour les utilisateurs finaux ; il convient de se référer à la page d’achat des applications personnelles.

Accès API

L’entreprise doit activer Tingwu dans la console d’Ali Cloud, créer un projet et obtenir une Appkey, puis configurer les permissions RAM, le stockage des résultats OSS ainsi que les méthodes de rappel. Les tâches hors ligne prennent en charge le polling ou les rappels via HTTP et RocketMQ ;

Le QPS par défaut pour l’utilisateur créant une tâche est de 20, et le QPS pour consulter l’état et les résultats d’une tâche est de 100.

La transcription hors ligne est généralement achevée en 3 heures, sauf pour les soumissions massives et rapides de plus de 500 heures d’enregistrements. Les entreprises doivent gérer les adresses de signature expirées, les erreurs de format, les limites de débit, les tentatives de rappel et la persistance des résultats.

Essai gratuit

Les nouveaux utilisateurs du service API peuvent bénéficier d’une période d’essai gratuite de 90 jours. Pendant cette période d’essai, un quota de 48 heures par jour et 2 connexions simultanées sont offerts.

Les fichiers audio et vidéo enregistrent 2 heures par jour, avec 1 flux simultané ; les tests du micro ne sont pas limités par la durée.

Une fois le plafond journalier atteint, il faut attendre 24 heures pour qu’il soit réinitialisé.

Une fois la période d’essai gratuite terminée ou après le passage à la version commerciale, un tarif à l’utilisation est appliqué en fonction du temps consommé. Il convient de définir des alertes pour le budget, le solde et la consommation, afin d’éviter des factures inattendues dues à des flux audio continus ou à des tentatives de réessai erronées.

Comparaison des prix et des versions

Prix de la nouvelle version de l’API

À partir d’août 2026, le prix officiel des nouvelles normes d’interface est le suivant : transcription en temps réel de réunions à 0,6 yuan par heure, transcription de fichiers audio et vidéo à 0,6 yuan par heure ; ces services incluent tous deux la séparation des interlocuteurs, et la transcription de fichiers comprend également une reconnaissance automatique de la langue.

L’aperçu des chapitres, le résumé du texte complet, la synthèse des interventions, le rappel des questions-réponses, les organigrammes mentaux, la liste des tâches à effectuer, les mots-clés, les points essentiels, la transcription orale en écriture, ainsi que chaque prompt personnalisé, sont facturés séparément à 0,064 yuan par heure chacun. L’activation de deux fonctionnalités coûte 0,128 yuan par heure, avec un supplément pour chaque prompt supplémentaire.

La vérification de la qualité du service ou l’extraction du contenu des conversations coûtent 0,13 yuan par heure ; l’extraction de vidéos et de diapositives PPT avec résumé coûte 0,64 yuan par heure.

Traduction en temps réel : 4 yuans/heure ; traduction hors ligne : 0,5 yuan/heure.

Les fonctions de transcription, de traduction et de grands modèles se superposeront.

Par exemple, la transcription en temps réel d’une voie pendant une heure avec une traduction en temps réel dans une langue cible coûte 0,6 plus 4 yuans, soit 4,6 yuans ; la traduction simultanée en chinois et en anglais pour un dialogue en chinois-anglais coûte 0,6 plus 4 multiplié par 2, soit 8,6 yuans.

Les entrées multiples sont facturées en fonction de la durée réelle de l’audio pour lequel une transcription a été générée ; les flux silencieux ou uniquement constitués de bruit peuvent également engendrer des frais dans certains cas.

Prix de l’interface ancienne

Le prix de l’interface ancienne est nettement plus élevé, et les autorités recommandent de passer à la nouvelle version. Le tarif standard pour l’enregistrement en temps réel de l’ancienne version est de 10,5 yuans par heure, celui pour l’enregistrement des fichiers de 9,5 yuans par heure, et celui pour la traduction en temps réel de 8 yuans par heure, avec une diminution selon le volume d’utilisation quotidien.

La version ancienne de la traduction hors ligne coûtait environ 0,5 à 0,9 yuan par heure selon l’échelle.

Pour les nouveaux projets, il convient de s’assurer en priorité que l’interface versionnée est utilisée.

Données et vie privée

Les réunions, entretiens, cours et appels avec des clients peuvent contenir des informations personnelles et des secrets commerciaux. Les entreprises doivent obtenir l’autorisation nécessaire pour enregistrer, transcrire et analyser par l’IA, restreindre l’accès aux OSS, RAM, rappels et fichiers de résultats, et définir des périodes de conservation et de suppression.

Les modalités du contrat de service stipulent qu’Ali Cloud doit coopérer conformément à la loi lorsque des organismes publics demandent ou consultent des données. Les secteurs hautement sensibles doivent évaluer la situation en se référant aux documents de sécurité d’Ali Cloud, aux contrats, aux considérations géographiques ainsi qu’à leurs propres exigences en matière de conformité.

Plateforme de support

• Application personnelle Web ;
• Mini-programme DingTalk ;
• Extension de navigateur ;
• Importation de vidéos et d’audio depuis Alibaba Cloud Disk ;
• Console d’Aliyun et API HTTP ;
• Se connecter aux systèmes d’entreprise via un SDK ou une interface.

Statut open source

Les produits Tongyi Tingwu et les services de transcription en cloud ne sont pas des projets open source. Alibaba Cloud peut fournir des SDK, du code d’exemple ou des modèles open source associés, mais cela ne signifie pas que la plateforme de reconnaissance vocale, de transcription et de compréhension du contenu de Tingwu puisse être déployée de manière complète de façon indépendante.

Guide d’utilisation de Tongyi Tingwu

Terminer une tâche de base

1. Vérifier l’enregistrement, le son, la musique et l’autorisation des participants ;
2. Téléchargez ou saisissez un audio de qualité dans Tongyi Tingwu ;
3. Sélectionner les paramètres de traitement tels que la langue, le locuteur et la transcription en temps réel ;
4. Utiliser la transcription de fichiers audio et vidéo pour générer des transcriptions, des doublages ou des résultats de nettoyage ;
5. Vérifier par segment le nom, les chiffres, les pauses, le volume et l’émotion ;
6. Vérifiez le format, le niveau de loudness, les droits d’auteur et les exigences de confidentialité avant d’exporter ;

Créer des flux de travail professionnels réutilisables

1. Créer un ensemble de test avec du bruit réel, des accents et des extraits multiples ;
2. Comparer les différences de traitement entre la transcription en temps réel d’enregistrements audio, la transcription de fichiers audio vidéo et la reconnaissance multilingue ;
3. Conserver l’enregistrement original et la transcription non modifiée ;
4. Organiser une audition par un humain avant la publication externe ;
5. Statistiques sur la durée de traitement, le taux d’erreurs et la consommation de crédit ;
6. Mettre à jour régulièrement le glossaire, les autorisations sonores et la politique de suppression ;

À qui s’adresse-t-il ?

• Personne chargée d’organiser les réunions, entretiens, interviews et visites clients ;
• Enseignants et élèves qui génèrent des sous-titres, des chapitres et des résumés de révision pour les cours ;
• Équipe chargée du traitement de vidéos enregistrées, de podcasts, de présentations en direct et de matériel médiatique ;
• Les organisations ayant besoin de traduction en temps réel pour des conférences multilingues ;
• Les entreprises qui intègrent la transcription et le contrôle de qualité dans leurs systèmes OA, CRM et de service client ;
• Développeurs ayant besoin d’analyser en masse les contenus audio et vidéo d’une bibliothèque média.

Avantages du produit

• Intégration de la transcription, de la traduction, du résumé, des questions-réponses et de l’extraction de PPT ;
• Prend en charge les modes flux en temps réel et fichiers hors ligne ;
• Capacités avancées en plusieurs langues, avec une maîtrise fluide du chinois, de l’anglais, du japonais, du coréen, du cantonais, de l’allemand, du français et du russe.
• Il existe des points d’accès tant pour les applications personnelles que pour les API d’entreprise ;
• La nouvelle version de l’interface offre des prix transparents et peut être personnalisée selon des combinaisons de fonctionnalités.

Restrictions et précautions

• Le taux de précision de reconnaissance dépend de la qualité du son, de l’accent, du bruit et du fait que plusieurs personnes parlent en même temps ;
• Tout texte important doit être écouté à nouveau pour correction ;
• Les capacités des grands modèles sont facturées de manière cumulative par projet, et la personnalisation de plusieurs prompts entraîne également plusieurs facturations.
• Le coût de la traduction en temps réel est nettement plus élevé que celui de la transcription ; il convient de prendre en compte le chemin à suivre, la langue et la durée.
• La transcription des réunions concerne la vie privée des participants et les secrets commerciaux ; il est nécessaire de donner des informations au préalable et d’obtenir une autorisation, et il est interdit d’enregistrer en secret ou de conserver les enregistrements indéfiniment.

Questions fréquentes

Tongyi Tingwu est-il gratuit ?

Les applications personnelles offrent un accès gratuit ; les nouveaux utilisateurs de l’API peuvent bénéficier d’une période d’essai de 90 jours, avec enregistrement en temps réel de 48 heures par jour et de 2 heures par jour pour les fichiers, puis facturation selon la consommation.

Quelle est la taille maximale d’un seul fichier ?

Les fichiers audio et vidéo hors ligne peuvent atteindre 6 GB et durer jusqu’à 6 heures, et prennent en charge de nombreux formats audio et vidéo courants.

Peut-il reconnaître différents parlants ?

Il est possible de séparer les différents locuteurs, mais l’identité réelle ne peut pas être reconnue automatiquement ; il faut modifier le nom après la réunion.

Combien coûte l’API Tongyi Tingwu ?

La nouvelle version de transcription coûte 0,6 yuan par heure, l’analyse de grands modèles pour une tâche unique 0,064 yuan par heure, l’extraction d’extraits de PPT 0,64 yuan par heure, la traduction en temps réel 4 yuan par heure, et la traduction hors ligne 0,5 yuan par heure.

Tongyi Tingwu prend-il en charge l’API ?

Oui, les entreprises peuvent accéder à l’enregistrement en temps réel, à la transcription de fichiers, à la traduction, à la rédaction de résumés, au contrôle qualité et à l’extraction de PPT, et obtenir les résultats par rappel ou par polling.

Tongyi Tingwu est-il open source ?

Pas open source. Il s’agit d’une application commerciale et de services API d’Ali Cloud ; la mise à disposition d’un SDK ou du modèle open source Qianwen ne signifie pas que la plateforme Tingwu est open source.