Cyanite.ai

Was ist Cyanite.ai?

Cyanite.ai ist eine von der deutschen Firma elceedee UG betriebene AI-basierte Plattform für Musiklabel und -suche, die Musikverlegern, Rechtebibliotheken, Synchronisierungsagenturen, Verlegern, Streaming-Diensten sowie Kreativen dabei hilft, Titel zu organisieren und zu finden.

Nach dem Hochladen von Audio-Dateien durch den Benutzer erhält man strukturierte Musikmetadaten, Beschreibungen in natürlicher Sprache sowie Suchvektoren. Anschließend kann man in seiner eigenen Musiksammlung nach passenden Inhalten suchen, indem man sich an Referenzstücke oder textbasierte Beschreibungen orientiert.

Hauptfunktionen

• Automatische Musiklabel: Analyse der gesamten Audiodatei und Erstellung von Feldern wie Genre, Subgenre, Stimmung, BPM, Geschwindigkeit, Tonart, Instrumente, Gesangseigenschaften, Epoche, Energie und geeignete Anwendungsszenarien.
• Automatische Beschreibung: Musikmerkmale werden in eine natürliche Sprache übersetzt, um den Kunden die Klangqualität, Atmosphäre sowie mögliche Verwendungsmöglichkeiten der Musik zu erklären.
• Suche nach ähnlichen Tracks: Ausgehend von einem Referenzstück werden in der eigenen Musiksammlung nach ähnlichen Werken gesucht, die hinsichtlich Klang, Stimmung und Epoche übereinstimmen. Zudem können Kriterien wie Genre, BPM oder Tonart zur Filterung herangezogen werden.
• Suche in natürlicher Sprache: Geben Sie Filmsequenzen, Aktivitäten, Stimmungen, kulturelle Anhaltspunkte oder detaillierte Anforderungen an Musik ein – das System passt die Semantik mit den Audiodaten der Musiksammlung ab; es ist nicht auf externe allgemeine Chatmodelle zur Durchführung der Suche angewiesen.
• Fortgeschrittene Suche: Es ist möglich, mehrere Referenzstücke zu kombinieren, eigene Metadaten zur Filterung und Sortierung zu verwenden. Es werden Ähnlichkeitswerte, die am besten passenden Abschnitte sowie bis zu 500 Ergebnisse angezeigt. Die Funktionen richten sich hauptsächlich über API an technische Teams.
• KI-basierte Musikerkennung: Erkennung von Musik, die mit gängigen Generierungsmodellen erstellt wird, zur Inhaltssicherung, Transparenz und Konformitätsprüfung; der Erkennungsbereich hängt von den derzeit unterstützten Modellen ab.
• Musikalische Stimmungskurve: Die API liefert die Stimmungsveränderungen eines Liedes sekundengenau und eignet sich dazu, Passagen zu finden, die Erzählentwicklung zu analysieren oder bestimmte emotionale Momente für Videos auszuwählen.
• Unternehmensspezifische Anpassungen: Geschäftskunden können individuelle Tags, Klassifikationssysteme, die Importierung großer Verzeichnisse, CSV-Resultate sowie eine eigene Testumgebung vereinbaren.

Eingabe und Ausgabe

Verwendung im Webbrowser

1. Registrieren Sie ein Konto und gelangen Sie zur Musikdatenbank. Ein kostenloses Konto ermöglicht es, monatlich 5 Lieder zu analysieren.
2. Laden Sie einen MP3-Datei hoch, die den Anforderungen entspricht; für große Verzeichnisse oder andere Formate muss die Einpflegung mit dem Geschäftsteam koordiniert werden.
3. Warten Sie, bis das System die Analyse abgeschlossen hat, und überprüfen Sie Genre, Stimmung, BPM, Tonart, Instrumente, Gesang sowie die automatische Beschreibung.
4. Wählen Sie ein Referenzstück aus, um eine ähnliche Suche durchzuführen, oder geben Sie spezifische Textangaben ein, die Szene, Rhythmus, Stimmung und Verwendungszweck enthalten.
5. Verengen Sie die Ergebnisse mithilfe vorhandener Metadaten, BPM, Genres und Ähnlichkeitskriterien und hören Sie sich die am relevantesten erscheinenden Abschnitte an.
6. Die ausgewählten Ergebnisse werden zur Organisation der Musiksammlung, zur Empfehlung oder zur Auswahl von Kandidaten verwendet; entscheidende Tags sowie Urheberrechtsfragen müssen weiterhin von Fachleuten überprüft werden.

Preise und Limits

Cyanite bietet Privatpersonen kostenlose Kontingente sowie Selbstbedienungspunkte an, während Unternehmen Angebote auf Basis von API-Abonnements sowie Kombinationen aus Verbrauchsanalyse und Suchfunktionen erhalten. Auf der offiziellen Seite werden nicht alle Preise für die Selbstbedienungsabonnements vollständig aufgeführt.

290 Euro sind die Grundgebühr für die Nutzung der öffentlichen API – dies beinhaltet jedoch nicht alle Kosten für Analysen und Suchfunktionen. Region, Steuern, Größe des Katalogs, Mengenrabatte sowie Vertragsdauer können die endgültige Preisgestaltung beeinflussen.

API und Zugang für Entwickler

Cyanite bietet eine GraphQL-API, über die Entwickler Dateien hochladen, Analysen auslösen, strukturierte Ergebnisse abrufen sowie ähnlichkeitsbasierte Suchfunktionen, Suchfunktionen im natürlichen Sprachverständnis und fortgeschrittene Suchmöglichkeiten nutzen können.

1. Erstellen Sie ein kostenloses Konto und generieren Sie in den Integrationseinstellungen einen Access Token, eine Webhook-Adresse sowie ein Webhook-Secret.
2. Mit Bearer-Authentifizierung werden Dateien oder Bibliothekselemente an die GraphQL-Schnittstelle gesendet, um die erforderliche Audioanalyse auszulösen.
3. Überprüfen Sie die Signatur des Webhooks und erhalten Sie Benachrichtigungen für erfolgreiche oder fehlgeschlagene Vorgänge; anschließend können Sie die detaillierten Ergebnisse anhand der Analyse-ID abrufen.
4. Übertragen Sie Genres, Stimmungen, BPM, Tonart, Instrumente, sekundenspezifische Stimmungen und weitere Felder in Ihre eigene Datenbank.
5. Je nach Geschäftsbedarf werden ähnliche oder textbasierte Suchen verwendet, ergänzt durch eigene Metadaten-Filter, die Anzahl der Ergebnisse, die Sortierung sowie mehrere Referenzstücke.
6. Um Tokens getrennt für Tests und Produktion zu verwalten, Fehler, Quoten und Versionsschwankungen zu erfassen und zu vermeiden, dass Anmeldeinformationen im Frontend-Code offen gelegt werden.

Offizieller GitHub-Status und Open-Source-Status

Die offizielle GitHub-Organisation bietet Beispiele für JavaScript-Integrationen, Beispiele aus dem AWS Marketplace sowie Einstiegsvorhaben für Music Hackathons. Einige dieser Beispiele sind unter der MIT-Lizenz verfügbar.

Diese Lager werden zur Demonstration von APIs oder Bereitstellungsprozessen verwendet; daraus kann nicht geschlossen werden, dass Cyanites Musikanalysemodelle, Suchalgorithmen oder die Web-App selbst Open Source sind. Auch auf den Seiten mit Beispielen für ältere Integrationen wird keine klare Lizenz angegeben.

Plattformen und Integration

Drei Modi zur Verarbeitung von Privatsphärendaten

Urheberrecht, Daten und Vertragsaspekte

• Der Kunde behält das Recht an den Kundendaten und erteilt der Plattform während der Laufzeit des Services die Genehmigung zur Verarbeitung, die zur Erbringung des Services erforderlich ist; der Kunde muss weiterhin sicherstellen, dass das Hochladen von Musik, Metadaten sowie die Art der Nutzung rechtlich zulässig sind.
• Der Dienstleister kann auf der Grundlage der Kundendaten aggregierte Daten und Analysen erstellen, bei denen die einzelnen Kunden nicht mehr identifizierbar sind, und besitzt diese aggregierten Ergebnisse; Einrichtungen, deren Daten für Schulungszwecke oder weitere Nutzung sensibel sind, sollten den Umfang durch Verträge weiter präzisieren.
• Das Löschung des Cyanite-Kontos führt zum Löschen der persönlichen Daten sowie der hochgeladenen Audiodateien. Allerdings können Ausnahmen bestehen, wenn es um Kommunikationsdaten, rechtliche Verpflichtungen, Ermittlungen oder Backups geht.
• Kostenlose Webdienste weisen eine andere Vertragsstruktur als Unternehmensverträge auf. So kann die anfängliche Laufzeit bei Unternehmensverträgen, sofern nicht anders vereinbart, ein Jahr betragen und wird automatisch verlängert; auch bei vorzeitiger Kündigung kann eine Entschädigung für den verbleibenden Zeitraum fällig werden.
• Nach Beendigung der Dienstleistungen durch das Unternehmen ist gemäß den Bedingungen die Löschung der Kundendaten erforderlich. Soll eine Kopie der Daten gewünscht werden, muss dies mindestens 14 Tage im Voraus schriftlich beantragt werden; dabei können Kosten für die Übertragung anfallen.
• Automatische Tags, Suchergebnisse und KI-gestützte Musikerkennung können nur bei der Verwaltung und Überprüfung von Katalogen helfen; sie ersetzen jedoch nicht die Überprüfung der Rechteverhältnisse, die Beurteilung der Urheberrechte oder die manuelle Musiküberwachung.

Geeignet für Nutzer und typische Szenarien

• Musikverleger und Musikbibliotheken: Vereinheitlichen Sie alte Katalogetiketten und finden Sie schnell geeignete Kandidaten für die Synchronisierung nach Film- und Fernsehszenen.
• Verleger und Streaming-Dienste: Massenproduktion von Metadaten sowie Einrichtung von Funktionen für Empfehlungen, Playlists und Inhaltssicherung.
• Musikalischer Leiter und Marken-Team: Mit Referenzstücken oder Beschreibungen in natürlicher Sprache werden Werke gesucht, die zum Bild, zur Stimmung und zum Markenton entsprechen.
• Künstler, Produzenten und DJs: Erkennen Sie die Eigenschaften Ihrer eigenen Stücke, erstellen Sie Beschreibungen und entdecken Sie ähnliche Musik.
• Entwickler von Musiktechnologie: Durch APIs werden Analysefunktionen, Suchmöglichkeiten sowie KI-basierte Musikerkennung und -Empfehlungen in Produkte integriert.

Fähigkeitsgrenzen und Beschränkungen

• Die Plattform erlaubt derzeit keine direkte Bearbeitung der Analyseergebnisse, und Benutzer privater Webseiten können auch keine vollständigen Tags direkt exportieren; fehlerhafte oder fehlende Klassifizierungen müssen über den Support geklärt oder in externen Systemen angepasst werden.
• Ähnlichkeitssuchen liefern stets die am nächsten kommenden Lieder, doch bei einer kleinen Musiksammlung können die besten Ergebnisse dennoch nicht ähnlich sein; die Plattform empfiehlt, dass diese Funktion bei einem Katalog von über 1000 Titeln am besten funktioniert.
• Je spezifischer die Anweisungen in der natürlichen Sprache sind, desto kontrollierbarer sind in der Regel die Ergebnisse; vage Begriffe ermöglichen keine eindeutige oder subjektiv korrekte Zuordnung.
• Großangelegte Kataloge, Formate außer MP3, CSV-Export, benutzerdefinierte Klassifizierungen sowie fortgeschrittene Datenschutzmaßnahmen erfordern geschäftliche oder technische Zusammenarbeit.
• Die Funktionen der verschiedenen Privatsphärenmodi sind nicht vollständig identisch; eine isolierte AWS-Deployment kann die drei Suchfunktionen nicht nutzen.

Häufige Fragen

Wie viele Lieder kann Cyanite.ai monatlich kostenlos analysieren?

Die kostenlose Web-App bietet derzeit 5 Analysevorgänge pro Monat. Bei einem kostenlosen Konto können auch API-Integrationen erstellt werden, doch die Anzahl der Testvorgänge ist begrenzt.

Welche Anforderungen gibt es für das Hochladen von Audio-Dateien?

Über die Web-Oberfläche können MP3-Dateien mit beliebiger Bitrate hochgeladen werden – maximal 15 Minuten Länge. WAV-, MP4-, FLAC-Dateien sowie große Verzeichnisse müssen in Batch-Importen eingefügt werden.

Können die Tag-Ergebnisse auf der Webseite geändert oder exportiert werden?

Derzeit ist es nicht möglich, die Ergebnisse in Cyanite zu bearbeiten, und Privatnutzer können die Library View auch nicht direkt exportieren; Geschäftskunden können Ergebnisse im CSV-Format oder als Tabelle anfordern.

Umfasst die 290 Euro für die API alle Kosten?

Nicht enthalten. Dieser Betrag stellt die offizielle monatliche Gebühr für die Nutzung der API dar. Der Gesamtpreis hängt außerdem von der Größe des Musikarchivs, der Menge an Analysen, den Suchabonnements sowie der Kombination der verfügbaren Funktionen ab.

Wird die hochgeladene Konzertaufnahme von Drittmodellen verarbeitet?

Die Standard-Such- und Tagging-Algorithmen wurden von Cyanite selbst entwickelt. Laut den Angaben zur Cloud-Bearbeitung werden die Audiodaten nicht mit Dritten geteilt; für besonders sensible Projekte steht außerdem die Option eines Spektrogramm-Pipelines oder einer isolierten AWS-Implementierung zur Verfügung.

Ist Cyanite.ai ein Open-Source-Produkt?

Es handelt sich nicht um ein offenes Produkt, dessen Eigenschaften bereits bestätigt wurden. Die Hersteller haben einige APIs sowie Beispiele für die Implementierung veröffentlicht; dabei werden einige davon unter der MIT-Lizenz bereitgestellt. Die Kernplattform sowie die Modelle sind jedoch weiterhin nicht offen zugänglich.