Cloudglue

Qu’est-ce que Cloudglue ?

Cloudglue est une plateforme de contexte vidéo et audio développée par Aviary Inc, dont les composants principaux sont une console web, des interfaces de développement et un kit de développement logiciel. Elle organise la voix, les locuteurs, l’image, le texte à l’écran, les sons ainsi que les métadonnées en un contexte pouvant être recherché, extrait et utilisé pour l’inférence par de grands modèles.

Ce produit s’adresse principalement aux développeurs et équipes qui ont besoin de traiter de grandes quantités de contenu multimédia dans leurs applications, et non aux éditeurs vidéo traditionnels qui offrent des fonctionnalités de montage sur chronologie, des filtres ou la création de vidéos finies.

Fonction principale

Description vidéo multimodale

• Describe peut générer des descriptions vidéo dans un ordre chronologique ; les résultats peuvent inclure un résumé, une transcription, une identification des interlocuteurs, des scènes visuelles, du texte à l’écran et des événements audio.
• L’utilisateur peut choisir le mode souhaité pour réduire le traitement inutile ; les résultats conviennent à l’organisation des sous-titres, à la révision du contenu, à la description accessible et à l’indexation de recherche.
• La description des résultats peut être lue par segments, avec des miniatures pour permettre à l’application de sauter à l’instant correspondant.

Extraction de données structurées

• Extract reçoit des instructions en langage naturel ou une structure personnalisée, et produit des entités et des champs pouvant être traités par le programme.
• Le mode indicateur convient pour explorer les informations contenues dans une vidéo, tandis que le mode structuré est adapté pour extraire à plusieurs reprises le même ensemble de champs dans des entretiens, des vidéos de produits, des appels commerciaux ou des matériaux de recherche.
• Un ensemble d’entités peut appliquer des indications et une structure uniformes à un groupe de vidéos, afin d’aider l’équipe à créer des ensembles de données comparables.

Segmentation, plans et chapitres

• Segment permet de diviser les médias en plans ou en chapitres narratifs, et de retourner les horaires de début et de fin ainsi que la description de chaque segment.
• Les développeurs peuvent utiliser les résultats de segmentation pour générer une navigation par chapitres, des candidats à des vidéos courtes, un index de frames clés ou des unités de recherche à faible résolution.
• Les segments narratifs dédiés à la transcription conviennent aux réunions et podcasts qui reposent principalement sur le contenu verbal ; les segments vidéo conviennent mieux aux vidéos présentant de nombreux changements visuels.

Recherche et Q&A multividéo

• Search prend en charge la recherche sémantique en langage naturel, permettant de trouver des vidéos, des extraits et des moments spécifiques pertinents dans des fichiers ou des collections.
• La recherche mixte permet de combiner des contenus généraux, des mots-clés vocaux, du texte à l’écran et des étiquettes, ce qui réduit le risque d’omettre des informations visuelles lorsqu’on ne cherche que la transcription.
• Les APIs Chat Completions et Responses permettent de poser des questions de manière continue sur un ou plusieurs ensembles, et de retourner des références multimédias avec des timestamps.
• Deep Search effectue des recherches et des raisonnements en plusieurs étapes, ce qui le rend adapté à la localisation d’éléments de preuve dans de grandes quantités de vidéos afin de trouver des réponses à des recherches ; le modèle de prévisualisation ne doit pas être considéré comme une promesse de stabilité.

Gestion de collections et de médias

• Un ensemble est utilisé pour organiser les médias d’un même projet, et il permet de créer des index à des fins diverses, telles que la description des médias ou des entités.
• L’interface de fichier permet de consulter l’état de traitement, la durée, la résolution, le codage et les miniatures, et prend également en charge des points d’extrémité tels que les étiquettes, le partage d’actifs, l’extraction de frames, la détection et la correspondance faciale.
• Un webhook peut notifier le système métier lorsque le traitement asynchrone est terminé ou que l’état a changé, évitant ainsi des requêtes de poll des clients en continu.

Différences de méthode d’entrée et de capacités

Processus d’utilisation typique

1. Inscrivez-vous et créez une clé API dans la console ; la clé doit être stockée dans des variables d’environnement côté serveur, et non dans le code frontend ou dans un dépôt public.
2. Téléchargez des médias locaux, collez des liens publics, ou autorisez un connecteur cloud, puis vérifiez l’état de traitement du fichier.
3. Les tâches à un seul fichier peuvent appeler directement Describe, Extract ou Segment ; pour la recherche en masse et les questions-réponses, il faut d’abord créer un ensemble et y ajouter des fichiers.
4. Selon la tâche, choisissez un résumé, de la voix, des images, du texte d’écran, des champs structurés ou une stratégie de segmentation, et configurez une consultation d’état ou un Webhook pour les tâches asynchrones.
5. En utilisant Search, Chat ou Responses pour interroger le jeu de données, les timestamps et les références médias retournés sont mappés vers le lecteur ou l’interface métier.
6. Avant le lancement, enregistrez la consommation de points pour chaque point d’entrée, l’état de réponse et les tentatives de réessai en cas d’échec, et définissez la concurrence et le budget en fonction des limites réelles du compte.

Adapté aux utilisateurs et aux scénarios

• Équipe de développement : Ajouter la recherche vidéo et les systèmes de questions-réponses à une base de connaissances, au service client ou à un agent intelligent, sans avoir à gérer soi-même les transcriptions, les modèles visuels ni les pipelines de recherche vectorielle.
• Équipe des ventes et du succès client : extraire les objections, les besoins, les retours sur le produit et les actions à entreprendre à partir des appels et des démonstrations, tout en conservant des extraits identifiables.
• Équipe de recherche et de médias : Rechercher les moments où des personnalités, des thèmes, des images et des citations apparaissent dans des entretiens, des cours, des podcasts ou une banque de contenus.
• Produits plateformes : fournissent des données médiatiques structurées pour la gestion vidéo, la modération du contenu, l’analyse de conférences ou les applications éducatives.
• Équipe d’automatisation : intégrer l’analyse de médias dans les flux de travail existants ou les assistants IA grâce à des connecteurs, des interfaces, des Webhook et MCP.

Forfait de prix

Le prix public est affiché en dollars sous forme de forfaits de points ; pour les besoins liés à des abonnements ou des solutions destinées à de grandes équipes, il convient de contacter le service des ventes. La page ne précise pas la durée de validité des forfaits de points, les taxes, les règles de remboursement ni celles concernant les points non utilisés ; il faut donc vérifier ces informations sur la page de paiement avant d’acheter.

Les conditions de service indiquent également que la période d’abonnement est mensuelle avec paiement à l’utilisation, et précisent que les factures sont émises mensuellement et que le paiement doit être effectué dans un délai de 5 jours après réception de la facture. Cette description n’est pas entièrement identique à celle de la page publique « Sélectionner un pack de points » ; les modalités réelles d’achat, de renouvellement et de paiement doivent se fonder sur la page de règlement du compte ou la commande entreprise.

Principale consommation de points

Les points ne sont crédités que en cas de demande réussie, en fonction des points d’entrée et des fonctionnalités utilisées. Les valeurs de certains éléments tels que la segmentation des scénarios dans les tableaux publics ne sont pas suffisamment claires pour en déduire qu’ils sont gratuits.

Plafonds et restrictions d'utilisation

• L’interface applique des limites de vitesse et de consommation ; en cas de dépassement, une erreur correspondante est renvoyée ; pour des limites plus élevées, il faut contacter l’équipe.
• Les documents de quotas utilisent toujours les niveaux Free Tier et Basic Tier, tandis que la page des prix actuelle emploie des noms tels que Mini, Starter, Builder, Scale, etc. ; il n’y a pas de correspondance automatique entre les deux.
• Pour les forfaits Free et Basic indiqués sur la page des quotas, le nombre maximal de fichiers par mois est de 100, avec une capacité de stockage totale de 10 GB et une durée totale des vidéos de 1000 heures ; le nombre de collections est respectivement de 50 et 100, avec un nombre de fichiers par collection de 50 et 100 respectivement.
• La même page indique également que le nombre de retraits et de transcriptions par mois est respectivement de 200 et 400 ; la limite de messagerie est de 500 par mois et 50 par jour pour le forfait Free, et de 30 000 par mois et 1 000 par jour pour le forfait Basic.
• Ces quotas techniques, ainsi que les points de la page des prix et le nombre de demandes de chat, sont conservés ; il convient de vérifier dans l’interface d’administration du compte le plafond réel du forfait actuel avant le déploiement en production.

API, SDK et MCP

Ce qui est open source, ce sont le SDK et le code du client MCP Server ; cela ne signifie pas que la plateforme hébergée par Cloudglue, l’orchestration des modèles ou l’infrastructure soient open source. L’utilisation de ces composants nécessite toujours un compte Cloudglue, des clés et des crédits, et est soumise aux conditions de la plateforme.

Limites des capacités

• La description automatique, la transcription, l’extraction d’entités et le raisonnement peuvent omettre des détails ou produire des erreurs ; les domaines juridiques, médicaux, de sécurité et de conformité nécessitent une vérification manuelle des médias originaux.
• Le lien YouTube ne permet actuellement pas une compréhension complète de l’image ; si la tâche dépend d’actions, d’objets, de texte à l’écran ou de changements de plan, le fichier original pouvant être traité doit être téléchargé.
• Le traitement vidéo est généralement une tâche asynchrone, et le délai dépend de la durée, de la résolution, du mode sélectionné, ainsi que de la taille de la file d’attente et du ensemble.
• Les modèles de recherche approfondie et d’avant-visualisation sont en phase d’évolution rapide ; les paramètres de l’interface, la qualité et le coût peuvent varier. Il convient d’utiliser une version fixée dans l’environnement de production et de consulter le journal des mises à jour.
• Les citations jouables aident à localiser les preuves, mais ne sont pas équivalentes à une véracité des faits ; le jugement final doit toujours se baser sur les extraits correspondants.

Confidentialité, sécurité et droits d’auteur

• Le service gère les adresses e-mail enregistrées, les informations de connexion de tiers, les vidéos ou données téléchargées, ainsi que l’analyse de l’utilisation du site et des produits.
• La politique de confidentialité indique que PostHog est utilisé pour l’analyse comportementale et Stripe pour les paiements, et affirme que les informations personnelles ne seront pas vendues, louées ou échangées.
• Les informations personnelles et les contenus téléchargés sont conservés pendant la durée nécessaire à la prestation du service, aux obligations légales et au règlement des litiges, mais aucune durée de conservation fixe ou de suppression automatique n’a été annoncée.
• Les utilisateurs de l’Espace économique européen peuvent demander l’accès, la correction, la suppression, le transfert, la limitation ou s’opposer au traitement ; la suppression du connecteur ne supprime pas automatiquement les médias déjà importés.
• L’utilisateur conserve le droit sur les vidéos et données qu’il a téléchargées, tout en devant confirmer disposer de l’autorisation de traiter, transcrire, analyser et partager les matériaux correspondants.
• Les conditions interdisent le traitement de contenus illégaux, nuisibles ou pornographiques, ainsi que le contournement des limites de quantité, la détection inverse, la revente des interfaces sans autorisation écrite, et la création ou le fonctionnement de produits concurrents à l’aide de la plateforme.
• La copie, la modification et la redistribution des contenus générés par la plateforme ne sont autorisées que si cela est expressément permis par les conditions générales ou par la licence SDK correspondante ; avant un lancement commercial, il convient d’examiner les droits d’auteur sur les éléments utilisés, les droits de portrait, les consentements relatifs à la vie privée ainsi que les contrats avec les clients.

Remboursements et précautions d’achat

Les conditions publiées ne précisent pas séparément les règles de remboursement pour les forfaits de points autonomes, d’annulation d’achat ou de restitution des points restants. Les commandes professionnelles, la facturation mensuelle et les forfaits de points autonomes peuvent être soumis à des conditions différentes ; il convient de conserver la page de règlement avant de payer et de vérifier le remboursement, l’échéance, la renouvellement ainsi que les taxes.

Résumé

La valeur de Cloudglue réside dans le fait qu’il combine l’analyse vidéo multimodale, l’indexation de collections, la recherche, les systèmes de questions-réponses et l’extraction structurée en une interface de développement unifiée, tout en fournissant des SDK, MCP ainsi que divers connecteurs multimédias. Il convient aux équipes de produits qui doivent transformer des vidéos en données commerciales consultables, mais il est essentiel de vérifier avant le lancement les limites liées au format YouTube, les quotas de compte actuels, les coûts liés aux points et la conformité du traitement du contenu.