Coval

Une phrase pour présenter

Coval est une plateforme de qualité continue destinée aux agents vocaux et de chat basés sur l’IA, qui permet de simuler un grand nombre de conversations avant le lancement, de surveiller les appels réels après le lancement, et d’envoyer les exemples échoués à une révision manuelle ainsi qu’à des tests de régression.

Présentation des outils

Coval est géré par l’entreprise américaine Datawave Inc., située dans le Delaware. Son objectif principal n’est pas de créer des robots de service client, mais d’évaluer si les agents intelligents existants sont capables d’accomplir des tâches, de respecter les politiques en vigueur et de fonctionner de manière fiable dans des environnements vocaux complexes.

La plateforme intègre la simulation, l’évaluation automatique, le suivi de la production, le contrôle qualité manuel, l’observabilité et les alertes au sein d’un même processus. Les équipes produits, QA, opérations et conformité peuvent déterminer, en se basant sur des indicateurs unifiés, si une version répond aux critères de mise en production.

Fonction principale

Simulation de dialogue à grande échelle

Coval permet aux utilisateurs synthétiques de dialoguer avec l’intelligence vocale ou l’agent de chat à tester, couvrant les scénarios normaux et les cas limites. Les minutes simulées sont calculées en fonction de la durée réelle de l’appel synthétique, sans arrondi à l’unité de minute entière.

Disposition des personnages et de l’environnement

Les personnages de test peuvent avoir des prompts, une voix, une langue, une vitesse de parole, un volume, un temps d’attente et déterminer qui parle en premier. Les scénarios audio peuvent également inclure des bruits de fond tels que des bureaux, des aéroports, des foules, du trafic, le bruit de la pluie ou les pleurs d’un bébé.

Scénarios et ensemble de test

L’équipe peut organiser les objectifs commerciaux, le comportement des utilisateurs, les parcours anormaux et les interdictions en ensembles de tests réexécutables. Après chaque modification du prompt, du modèle, d’outil ou du fournisseur, il est possible de réexécuter les mêmes scénarios pour comparer les résultats.

Indicateurs d’évaluation automatique

La plateforme prend en charge des indicateurs intégrés et personnalisés, utilisés pour déterminer l’achèvement des tâches, les preuves factuelles, l’authentification, le traitement des mises à niveau, l’humeur, les retards, les interruptions, les appels d’outils et le comportement conforme. Le nombre d’indicateurs est limité par le forfait.

Comparaison de la base de connaissances

Chaque agent peut ajouter des FAQ, des politiques ou des documents produits comme base d’évaluation, permettant au modèle de vérifier si les réponses sont conformes à des sources fiables. La base de connaissances peut améliorer la pertinence des critères d’évaluation, mais une validation manuelle des indicateurs clés reste nécessaire.

Visualisation des flux de travail

Les agents permettent de configurer des flux de dialogue visuels, en marquant les étapes attendues et les points de décision. Les équipes peuvent l’utiliser pour identifier les zones non couvertes par les tests, et comparer le flux de travail aux parcours de dialogue réels.

Surveillance de la production

Coval peut effectuer des évaluations sur des appels de production réels, afin d’identifier les dérives de qualité, les échecs répétés et les regressions de version. La surveillance du nombre d’appels et les minutes de simulation sont facturées séparément ; l’un ne peut pas remplacer l’autre.

File de révision manuelle

Les indicateurs d’échec, les scénarios spécifiés ou les règles d’échantillonnage peuvent diriger les appels vers une file d’attente pour révision manuelle. L’évaluation est effectuée par l’équipe du client lui-même ; Coval fournit la file d’attente, l’interface et l’enregistrement des indicateurs, sans remplacer l’entreprise par du personnel de contrôle qualité.

Observabilité et alertes en temps réel

La plateforme affiche de manière centralisée le parcours des conversations, les enregistrements audio, les transcriptions, les indicateurs et les raisons d’échec, et peut déclencher des alertes pour les événements à haut risque. Les règles d’alerte doivent faire l’objet d’un contrôle du bruit, sinon de nombreuses notifications peu pertinentes peuvent être générées.

Comparaison des fournisseurs

Le même ensemble de scénarios peut être exécuté sur différents agents vocaux ou fournisseurs de modèles, afin de comparer de manière cohérente le taux de réussite, les délais et la gestion des anomalies. Les résultats de comparaison ne sont valables que pour les données, les configurations et les fenêtres temporelles sélectionnées.

Sujets de test et mode de connexion

Dimensions clés d’évaluation

• La tâche a-t-elle été accomplie, les objectifs de l’utilisateur ont-ils vraiment été atteints ?
• La réponse est-elle basée sur une base de connaissances, y a-t-il des hallucinations ou des promesses infondées ?
• Vérifier si l’authentification, les opérations sensibles et les mises à niveau manuelles respectent la politique.
• Les retards, le silence, les interruptions, les paroles superposées et les anomalies audio sont-ils acceptables ?
• Vérifier que les paramètres de appel des outils, la lecture des résultats et le redémarrage en cas d’échec sont corrects.
• Stabilité sous différents accents, langues, vitesses, émotions et bruits de fond.
• Apparition d’un retour à la qualité après modification des prompts, du modèle ou du fournisseur.
• Les cas à haut risque sont-ils correctement soumis au processus de révision manuelle et d’alerte ?

Flux de travail de qualité continue

1. Connectez l’agent à tester et utilisez la fonction de connexion de test pour vérifier que l’interface, le téléphone ou WebSocket sont disponibles.
2. Définir les flux de travail métier, les conditions de succès, les comportements interdits et les situations nécessitant une intervention humaine.
3. Créer un ensemble de test composé de personnages, de bruit, d’accent, d’entrées anormales et de scénarios marginaux.
4. Pour configurer les indicateurs automatiques et les références de la base de connaissances, il faut d’abord calibrer la notation à l’aide d’un petit nombre de conversations.
5. Exécuter des simulations en lot et analyser les résultats par type d’échec, version et scénario.
6. Exécuter des tests de régression après la correction des prompts, des modèles, des outils ou des processus métier.
7. Une fois en ligne, intégrez la surveillance de production et envoyez les échecs critiques dans la file d’inspection manuelle.
8. Ajouter les pannes de production identifiées au jeu de test pour créer un cycle fermé d’amélioration continue.

Guide d'utilisation rapide

1. Inscrivez-vous à Coval et créez un projet ; choisissez une connexion vocale ou de chat en fonction du type d’agent.
2. Saisissez l’adresse de l’interface, le numéro de téléphone et les authentifications nécessaires, puis sauvegardez et effectuez un test de connexion.
3. Créer des personnages de test, définir les objectifs du personnage, le langage, la voix et le bruit d’ambiance.
4. Rédiger des scénarios de test en définissant clairement le comportement de l’utilisateur, les résultats attendus et les résultats interdits.
5. Ajouter des indicateurs d’évaluation tels que l’achèvement de la tâche, les faits, les retards et la conformité.
6. Exécuter des simulations en petits lots et effectuer des contrôles aléatoires manuels pour s’assurer qu’il n’y a pas d’erreurs systématiques dans les indicateurs.
7. Élargir l’échelle des tests, comparer les versions et intégrer les résultats dans le contrôle de publication.

Tutoriel sur les tests de régression

1. Créer un ensemble de test stable à partir des pannes historiques, des réclamations, du contrôle qualité manuel et des besoins des produits.
2. Identifier les personnages, les scènes, les critères d’évaluation et les paramètres environnementaux clés, puis enregistrer la version de référence.
3. Exécuter les mêmes tests à chaque modification des prompts, du modèle, du fournisseur de voix ou de la chaîne d’outils.
4. Observer séparément le taux de réussite global et les scénarios à haut risque, sans masquer les échecs graves par une moyenne.
5. Vérification manuelle des échecs de notation automatique et des cas critiques.
6. La publication n’est autorisée que lorsque les indicateurs clés atteignent le seuil et qu’il n’y a pas de problèmes d’obstruction.

Surveillance de la production et contrôle qualité manuel

• Lors de la surveillance de conversations réelles, il convient d’abord de s’assurer des bases légales pour l’enregistrement, la transcription et le traitement des informations personnelles.
• Utiliser des règles pilotées par l’échec pour donner la priorité à l’examen des cas de conformité, d’identité, de paiement ou de pertes importantes.
• Intégration de la détection automatique de nouveaux problèmes non identifiés par l’échantillonnage aléatoire.
• Faire remonter les conclusions manuelles aux indicateurs et au jeu de test, plutôt que de simplement fermer les tickets.
• Exportez les preuves nécessaires en temps voulu, conformément à la durée de conservation du forfait, afin d’éviter que les traces historiques disparaissent à l’expiration.
• Définir le responsable de la configuration des alertes, les délais de réponse et les voies d’escalade.

Forfaits et prix

Les abonnements annuels Starter et Growth équivalent à 20 % de réduction par rapport au prix mensuel public total. Le prix de départ Enterprise n’est qu’une référence sur le site officiel ; le réseau privé, le stockage local, le stockage fourni et les niveaux de service influencent le prix final.

Différences de forfaits

Frais supplémentaires et règles d’essai

Le site officiel indique que la période d’essai est gratuite et qu’une notification sera envoyée deux jours avant sa fin ; en l’absence d’annulation, elle sera convertie en le forfait choisi au moment de l’inscription. Une mise à niveau prend effet immédiatement et est facturée proportionnellement, tandis qu’une dégradation commence au prochain cycle de facturation.

Renouvellement, annulation et remboursement

• Le plan mensuel peut être annulé depuis l’application, le service se poursuivant généralement jusqu’à la fin de la période de facturation en cours.
• Le forfait annuel est résilié à la fin de la durée du contrat ; les mois non utilisés ne peuvent pas être résiliés de manière arbitraire mois par mois.
• Les règles d’annulation d’Enterprise sont déterminées par le contrat signé par les deux parties.
• Les conditions de service indiquent que les frais payés ne sont pas remboursables et ne peuvent pas être compensés par d’autres montants.
• La capacité non utilisée annuelle peut être reportée sur la même période de abonnement, tandis que la capacité mensuelle peut être soumise aux restrictions du mois en cours.
• La consommation excédentaire est cumulée en temps réel et facturée au tarif correspondant à la fin de la période de facturation.

API, CLI, MCP et automatisation

Tous les forfaits publics listent l’API REST, la CLI, le serveur MCP et le framework skills. Les équipes peuvent créer des personnages, des ensembles de test et exécuter des tâches, lire des métriques et intégrer les évaluations dans des workflows d’intégration continue ou de codage intelligent.

Intégration et compatibilité

• Des plateformes d’agents vocaux tels que Vapi, Retell, ElevenLabs et Twilio.
• Interface de chat compatible OpenAI, OpenAI Realtime et Gemini Live.
• Agents Pipecat Cloud, LiveKit et WebSocket.
• Numéros de téléphone, interfaces standard et connexions Webhook personnalisées.
• GitHub Actions, API, CLI, MCP et Agent Skills.
• Les systèmes non listés peuvent évaluer les connexions téléphoniques générales ou Webhook.

Données et vie privée

Coval gérera les scénarios de test, les résultats de simulation, la transcription et l’enregistrement des interactions, les indicateurs de performance, les critères d’évaluation personnalisés, les données de surveillance en production ainsi que les informations de compte. Le client conserve le droit sur les Données du Client et autorise Coval à les traiter pendant la durée de l’abonnement aux fins de prestation des services.

Les conditions stipulent que l’ensemble de test, les scénarios et les critères d’évaluation restent confidentiels pour le compte, ne seront pas partagés avec d’autres clients ni utilisés pour entraîner le modèle Coval. La politique de confidentialité affirme également qu’aucuns données de clients individuels ne seront utilisées pour entraîner des modèles d’IA bénéfiques aux autres clients, mais autorise l’utilisation de données agrégées et anonymisées pour améliorer les services.

Sécurité et conformité

Le site officiel indique que tous les forfaits sont conformes à HIPAA, mais la signature d’un BAA est requise pour l’option Enterprise. Avant de traiter des informations de santé véritablement protégées, on ne peut pas se fier uniquement à un badge sur une page pour évaluer la conformité ; il est nécessaire de mettre en place des contrats, des autorisations, des flux de données et des processus organisationnels.

GitHub et l’état open source

Coval dispose d’une organisation officielle sur GitHub, qui met à disposition des dépôts tels que la CLI, les serveurs MCP, des exemples d’évaluation, des compétences externes, GitHub Actions, des instructions d’installation ainsi que des benchmarks vocaux. Certains de ces dépôts sont licenciés sous les licences MIT ou Apache-2.0.

Les plateformes commerciales, les services d’hébergement et l’infrastructure complète d’évaluation ne sont pas entièrement open source. Le catalogue doit indiquer que le produit principal n’est pas open source, tandis que certains outils de développement et projets de référence le sont ; la licence CLI ne peut pas être étendue à tous les services de Coval.

Avantages du produit

• Cela couvre la simulation avant le lancement, la surveillance après le lancement, la vérification manuelle et les tests de régression.
• Tenir compte en particulier du retard, des interruptions, du bruit, de l’accent et des appels d’outils dans la voix.
• Les bases de connaissances disponibles et les indicateurs personnalisés permettent d’exprimer les exigences opérationnelles et de conformité spécifiques.
• La même scénario peut être utilisé pour les tests de régression de version et la comparaison entre plusieurs fournisseurs.
• Fournit des API, une CLI, MCP, des compétences et des composants d’intégration continue.
• Le forfait indique publiquement la quantité utilisée, le prix unitaire pour les excédents, la période de conservation et la capacité de sécurité.
• Enterprise prend en charge les besoins tels que les BAA, le stockage local des données, les VPC et le stockage personnalisé.

Restrictions d'utilisation et précautions

• Les indicateurs automatiques peuvent eux-mêmes se tromper ; il est nécessaire de les calibrer à l’aide d’un ensemble d’étiquettes manuelles avant l’accès officiel.
• Les personnages simulés et le bruit ne peuvent pas représenter pleinement les utilisateurs réels et le réseau téléphonique.
• La simulation des minutes et la surveillance de la production sont facturées séparément ; à mesure que l’échelle augmente, les coûts peuvent augmenter rapidement.
• L’essai de sept jours nécessite une carte de crédit ; s’il n’est pas annulé, il deviendra automatiquement un forfait payant.
• Les enregistrements, transcriptions et données de production peuvent contenir des informations sensibles, et les exigences de notification et d’autorisation doivent être respectées.
• Starter et Growth utilisent par défaut les données américaines ; pour les autres régions, Enterprise est requis.
• Être prêt pour HIPAA ne signifie pas avoir signé un BAA ; l’utilisation sous réglementation exige de suivre la procédure contractuelle.
• Le noyau du produit n’est pas open source ; l’hébergement autonome n’est proposé que dans les solutions sur mesure Enterprise.

À qui s’adresse-t-il

• Équipe chargée du développement d’agents intelligents pour le service client par IA, les ventes, les réservations et les notifications.
• Il est nécessaire de créer un département produits et QA pour le déploiement d’agents vocaux de contrôle d’accès.
• Les entreprises qui gèrent un grand nombre d’appels réels et souhaitent détecter en continu toute dégradation de la qualité.
• Équipe de conformité chargée de vérifier l’identité, de divulguer les informations, de procéder à des mises à niveau et de s’assurer du respect des politiques.
• Comparer les équipes d’achat de Vapi, Retell, Twilio ou différentes solutions de modèles.
• Équipes de développement souhaitant exécuter automatiquement les évaluations d’agents à l’aide d’une API ou d’intégration continue.

Quand cela ne convient pas vraiment

• Il suffit de créer un simple chatbot, sans besoin d’évaluation du système.
• Projets précoces sans critères de succès clairs, données de test ou personnes chargées de la révision manuelle.
• Le budget ne permet pas de couvrir les frais mensuels, les dépassements de simulation et les dépassements de surveillance de la production.
• Les organisations qui doivent être entièrement déployées localement, mais ne prévoient pas d’acquérir une solution Enterprise.
• Équipes qui espèrent prouver directement la conformité de l’ensemble des activités réelles grâce à un petit nombre d’appels synthétiques.

Informations de base

Indice de recommandation

Le score de recommandation est de 4,4 sur 5. Coval couvre de manière complète la simulation d’agents vocaux, le suivi de la production, la révision manuelle et l’intégration en ingénierie, avec des prix et des tarifs détaillés rendus publics.

Il convient mieux aux équipes qui disposent déjà d’agents intelligents et souhaitent mettre en place un système de qualité, plutôt qu’aux générateurs de robots débutants. Le coût, la fiabilité de l’évaluation automatique et la conformité des données de production sont les trois points clés à vérifier avant l’achat.

Questions fréquentes

À quoi sert Coval ?

Il est utilisé pour tester et surveiller les agents vocaux ou de chat IA existants, en identifiant les échecs grâce à des dialogues synthétiques, des indicateurs d’évaluation et une révision manuelle. Il ne crée pas directement de robots commerciaux pour les utilisateurs.

Coval propose-t-il un forfait gratuit ?

La page de tarification actuelle propose une période d’essai gratuite de sept jours, sans mentionner de forfait gratuit à long terme. Une carte de crédit est requise pour l’essai, qui passera automatiquement au plan payant choisi une fois celui-ci terminé.

Combien coûte le démarreur ?

Le Starter coûte 100 dollars par mois ou 960 dollars par an, et inclut 100 minutes de simulation et 1 000 appels de surveillance par mois. Le supplément pour chaque minute de simulation supplémentaire est de 0,40 dollar.

Comment calculer les minutes simulées ?

Une conversation synthétisée par des personnages Coval et des agents vocaux intelligents consomme plusieurs minutes dès qu’elle dure quelques minutes. La page officielle indique que l’arrondi n’a pas lieu au niveau de la minute entière.

Quelles plateformes de voix sont prises en charge ?

Le site officiel liste des intégrations de premier ordre telles que Vapi, Retell, ElevenLabs et Twilio, et prend également en charge les appels téléphoniques ainsi que les Webhook personnalisés. La compatibilité avec d’autres plateformes doit être testée par une connexion réelle.

Est-il possible de surveiller les appels réels ?

Oui, la plateforme peut mesurer les indicateurs de performance des dialogues de production et identifier les déviations et les échecs. La surveillance de la production dispose d’un quota indépendant ainsi que d’un tarif supplémentaire pour les dépassements.

Coval va-t-il entraîner des modèles à l’aide des données des clients ?

Les conditions officielles stipulent que l’ensemble de test n’est pas utilisé pour entraîner des modèles propres, et la politique de confidentialité indique également qu’aucuns données de clients individuels ne seront utilisées pour entraîner des modèles bénéficiant aux autres clients. La plateforme peut utiliser des données agrégées et anonymisées pour améliorer ses services.

Est-ce que cela prend en charge API et MCP ?

Oui, tous les forfaits publics listent l’API REST, la CLI, le serveur MCP et les compétences. Les limitations de appel et certaines fonctionnalités varient en fonction du forfait.

Coval est-il open source ?

La plateforme commerciale principale n’est pas open source. GitHub officiel met à disposition la CLI, MCP, les benchmarks, les exemples et les composants d’intégration continue ; il convient de vérifier la licence spécifique pour chaque répertoire.

Peut-on l’implémenter en mode privé ?

Enterprise propose des options de déploiement privé ou dans une VPC, de résidence des données et de stockage propre. L’architecture, les coûts et les responsabilités de maintenance doivent être confirmés par écrit avec l’équipe des ventes.

Résumé

Coval a étendu les tests de la voix IA et des agents de chat à un cycle fermé comprenant des simulations reproductibles, une évaluation automatique, un suivi en production et une vérification manuelle, ce qui est adapté pour établir des normes de publication officielle.

Avant l’achat, il convient d’estimer les deux types de consommation en fonction de la durée réelle des appels, de calibrer les indicateurs automatiques, et de vérifier les exigences relatives à l’enregistrement, à la transcription, au stockage des données, ainsi qu’aux accords BAA ou DPA. Dans les scénarios à haut risque, il n’est pas possible de mettre en service le système en se fiant uniquement au taux de réussite automatique.