Cyanite.ai

Qu’est-ce que Cyanite.ai ?

Cyanite.ai est une plateforme d’étiquetage et de recherche musicale basée sur l’IA, gérée par l’entreprise allemande elceedee UG. Elle aide principalement les éditeurs musicaux, les bibliothèques de droits d’auteur, les équipes d’autorisation de synchronisation, les distributeurs, les services de streaming et les créateurs à organiser et à découvrir des morceaux.

Après que l’utilisateur ait téléchargé un audio, il peut obtenir des métadonnées musicales structurées, une description en langage naturel et des vecteurs de recherche, puis rechercher des contenus correspondants dans sa propre bibliothèque musicale à partir d’œuvres de référence ou de scénarios textuels.

Fonction principale

• Étiquettes musicales automatiques : analyse de l’ensemble de l’enregistrement audio pour générer des champs tels que le genre, les sous-genres, l’humeur, le BPM, la vitesse, la tonalité, les instruments, les caractéristiques vocales, l’époque, l’énergie et les scénarios d’utilisation.
• Description automatique : Organiser les caractéristiques musicales en une description en langage naturel, afin de permettre aux bibliothèques de musique protégées par des droits d’auteur d’expliquer aux clients le son, l’atmosphère et les possibilités d’utilisation potentielles.
• Recherche de pistes similaires : en partant d’une chanson de référence, on trouve dans sa propre bibliothèque des œuvres similaires en fonction du son, de l’atmosphère et de l’époque, avec la possibilité de filtrer par genre, BPM ou tonalité.
• Recherche en langage naturel : Entrez des scènes de film, des événements, des émotions, des indices culturels ou des besoins musicaux détaillés ; le système fait correspondre la sémantique aux audios de sa bibliothèque musicale ; il ne dépend pas de modèles de chat universels externes pour effectuer la recherche.
• Recherche avancée : Permet de combiner plusieurs morceaux de référence, ainsi que le filtrage et le tri par des métadonnées personnalisées, pour afficher des scores de similarité, les segments les plus correspondants et jusqu’à 500 résultats, principalement accessible via une API destinée aux équipes techniques.
• Détection musicale par IA : identification de la musique générée par des modèles courants, utilisée pour la modération du contenu, la transparence et les processus de conformité ; la portée de la détection dépend des modèles pris en charge actuellement.
• Courbe d’humeur musicale : L’API permet de suivre l’évolution de l’humeur d’une chanson seconde par seconde, ce qui est utile pour trouver des extraits, analyser le développement narratif ou associer des moments émotionnels spécifiques à des vidéos.
• Personnalisation d’entreprise : les clients commerciaux peuvent négocier des étiquettes personnalisées, un système de classification, l’importation de grands catalogues, des résultats au format CSV et un environnement de test dédié.

Entrée et sortie

Processus d'utilisation sur le site web

1. Inscrivez-vous et accédez à la bibliothèque musicale ; un compte gratuit permet d’analyser 5 titres par mois.
2. Téléchargez des MP3 conformes aux exigences ; les catalogues de grande taille ou d’autres formats doivent faire l’objet d’une coordination avec l’équipe commerciale pour leur importation.
3. Attendez que le système termine l’analyse et vérifiez le genre, l’humeur, le BPM, la tonalité, les instruments, la voix et la description automatique.
4. Sélectionnez une chanson de référence pour effectuer une recherche similaire, ou saisissez des indications textuelles détaillées concernant le contexte, le rythme, l’émotion et l’usage.
5. Utilisez les métadonnées existantes, le BPM, les genres et la similarité pour affiner les résultats et écoutez les extraits les plus pertinents.
6. Utiliser les résultats sélectionnés pour l’organisation de la bibliothèque de morceaux, les recommandations ou les candidats à autorisation ; les étiquettes clés et les décisions relatives aux droits d’auteur doivent néanmoins être revues par des professionnels.

Prix et limite

Cyanite propose des quotas gratuits et des points d’autoservice pour les particuliers, tandis que pour les entreprises, elle propose des offres basées sur des abonnements API, une analyse de la consommation et des fonctionnalités de recherche. La page publique ne liste pas l’ensemble des montants des abonnements d’autoservice.

290 euros est le tarif de base pour l’utilisation de l’API publique ; il ne comprend pas tous les coûts d’analyse et de recherche. La région, les taxes, la taille du catalogue, les remises en vrac et la durée du contrat peuvent modifier le prix final.

API et intégration pour les développeurs

Cyanite propose une API GraphQL qui permet aux développeurs de télécharger des fichiers, de déclencher des analyses, de lire des résultats structurés, et d’utiliser la recherche par similarité, la recherche en langage naturel et la recherche avancée.

1. Créez un compte gratuit et générez un token d’accès, une adresse Webhook ainsi qu’un secret Webhook dans les paramètres d’intégration.
2. Utiliser l’authentification Bearer pour soumettre des fichiers ou des objets de bibliothèque audio à l’interface GraphQL et déclencher l’analyse audio requise.
3. Vérifiez la signature du Webhook et recevez les événements de réussite ou d’échec, puis consultez les résultats détaillés par ID d’analyse.
4. Mappeler les genres, les émotions, le BPM, la tonalité, les instruments, l’émotion par seconde et d’autres champs vers sa propre base de données.
5. Selon les besoins commerciaux, effectuer des recherches par similitude ou par texte, en ajoutant un filtrage par métadonnées propres, un nombre de résultats limité, un tri et plusieurs pistes de référence.
6. Gérer séparément les jetons pour les tests et la production, enregistrer les erreurs, les quotas et les changements de version, et éviter d’exposer les identifiants dans le code frontend.

GitHub officiel et statut open source

L’organisation officielle GitHub propose des exemples d’intégration JavaScript, des exemples AWS Marketplace et des projets de base pour les hackathons musicaux, dont certains exemples sont sous licence MIT.

Ces entrepôts sont utilisés pour démontrer l’API ou le processus de déploiement, et on ne peut pas en déduire que les modèles d’analyse musicale de Cyanite, ses algorithmes de recherche ou l’application Web elle-même sont open source ; les anciennes pages d’exemples d’intégration ne mentionnaient pas non plus de licence claire.

Plateforme et intégration

Trois modes de traitement de la vie privée

Droits d’auteur, données et points importants relatifs aux contrats

• Le client conserve le droit sur les Données du Client et accorde à la plateforme, pendant la durée du service, l’autorisation de les traiter pour fournir les services ; le client reste néanmoins tenu de s’assurer que la musique, les métadonnées et les modes d’utilisation téléchargés sont légaux.
• Le prestataire peut créer, à partir des données des clients, des données agrégées et des analyses qui ne permettent pas d’identifier les clients spécifiques, et posséder ces résultats agrégés ; les organismes sensibles à l’entraînement ou à une réutilisation doivent préciser davantage les limites par le biais d’un contrat.
• La suppression du compte Cyanite entraînera la suppression des données personnelles et des fichiers audio téléchargés, mais des exceptions de conservation pourraient exister en raison de communications, d’obligations légales, d’enquêtes ou de sauvegardes.
• Les services web gratuits ont une structure contractuelle différente de celle des commandes professionnelles. Pour les commandes professionnelles, sauf disposition contraire, la durée initiale peut être d’un an avec renouvellement automatique, et l’annulation anticipée peut encore entraîner le paiement du montant restant de la souscription.
• Lorsque l’entreprise cesse ses services, les conditions exigent la destruction des données des clients ; si une copie des données est souhaitée, une demande écrite doit être faite au moins 14 jours à l’avance, et des frais de transfert pourraient s’appliquer.
• Les étiquettes automatiques, les résultats de recherche et la détection musicale par IA ne servent qu’à faciliter la gestion et l’audit des catalogues ; ils ne peuvent pas remplacer la vérification de la chaîne de droits, le jugement en matière de droits d’auteur ou la supervision musicale humaine.

Adapté aux utilisateurs et aux scénarios typiques

• Éditeurs de musique et bibliothèques de musique : unifier les anciennes étiquettes de catalogues et rechercher rapidement des candidats pour des autorisations de synchronisation en fonction des scènes cinématographiques.
• Éditeurs et services de streaming : génération en masse de métadonnées, création de fonctionnalités de recommandation, de playlists et de modération du contenu.
• Superviseur musical et équipe de marque : recherche de pièces adaptées à l’image, à l’émotion et à la tonalité de la marque, à l’aide de listes de références ou de descriptions en langage naturel.
• Artistes, producteurs et DJ : comprendre les caractéristiques de leurs propres morceaux, générer des descriptions et découvrir de la musique similaire.
• Développeurs de technologies musicales : intégrer l’analyse, la recherche, la détection musicale par IA et les recommandations dans les produits via des API.

Limites et contraintes des capacités

• La plateforme ne permet pas actuellement d’éditer directement les résultats d’analyse, et les utilisateurs de pages personnelles ne peuvent pas non plus exporter directement les étiquettes complètes ; en cas d’erreurs ou de catégories manquantes, il est nécessaire de contacter le support ou de procéder aux ajustements dans un système externe.
• La recherche par similarité renvoie toujours les titres les plus proches, mais les meilleurs résultats dans une petite bibliothèque peuvent néanmoins ne pas être similaires ; la plateforme recommande un catalogue de plus d’environ 1000 titres pour que cette fonctionnalité soit pleinement exploitée.
• Plus les indications en langage naturel sont spécifiques, plus les résultats sont généralement contrôlables ; les mots désignant des scénarios vagues ne garantissent pas une correspondance unique ou subjectivement correcte.
• Les catalogues à grande échelle, les formats autres que MP3, l’export CSV, les classifications personnalisées et le déploiement avancé de la confidentialité nécessitent une collaboration commerciale ou technique.
• Les fonctionnalités des différents modes de confidentialité ne sont pas identiques, et les déploiements AWS isolés ne peuvent pas utiliser les trois capacités de recherche.

Questions fréquentes

Combien de chansons Cyanite.ai peut-il analyser gratuitement par mois ?

L’application Web gratuite offre actuellement 5 analyses par mois. Un compte gratuit permet également de créer des intégrations API, mais avec un nombre limité d’essais.

Quelles sont les exigences pour télécharger de l’audio ?

Sur le site web, il est possible de télécharger des fichiers MP3 de n’importe quel débit binaire d’une durée maximale de 15 minutes. Les fichiers WAV, MP4, FLAC ainsi que les dossiers volumineux doivent être importés en lot.

Les résultats des étiquettes peuvent-ils être modifiés ou exportés sur le site web ?

Il n’est pas possible actuellement d’éditer les résultats dans Cyanite, et les utilisateurs privés ne peuvent pas non plus exporter directement la vue Library ; les clients professionnels peuvent demander des résultats au format CSV ou en tableau.

Les 290 euros de l’API comprennent-ils tous les frais ?

Non inclus. Ce montant correspond aux frais mensuels publics d’utilisation de l’API ; le prix total dépend également de la taille de la bibliothèque, du volume d’analyse, des abonnements de recherche et de la combinaison de fonctionnalités.

Les concerts téléchargés sont-ils traités par des modèles tiers ?

L’algorithme de recherche standard et les étiquettes ont été développés par Cyanite ; selon les instructions de traitement cloud, l’audio n’est pas partagé avec des tiers ; pour les projets hautement sensibles, il est également possible de choisir un pipeline de spectrogramme ou un déploiement isolé sur AWS.

Cyanite.ai est-il un produit open source ?

Ce n’est pas un produit open source confirmé. Certaines API et exemples de déploiement ont été rendus publics par l’éditeur, dont certains sont soumis à la licence MIT, mais la plateforme principale et les modèles ne sont pas pour autant open source.