Cloudglue

Was ist Cloudglue?

Cloudglue ist eine von Aviary Inc. entwickelte Plattform für Video- und Audiodaten im Kontext. Ihre Kernkomponenten sind eine Webkonsole, Entwicklungs-APIs sowie Entwicklungstools. Sie ordnet Sprache, Sprecher, Bilder, Bildunterschriften, Geräusche sowie Metadaten zu einem suchbaren, extrahierbaren Kontext zusammen, der für die Verarbeitung durch große KI-Modelle genutzt werden kann.

Dieses Produkt dient hauptsächlich Entwicklern und Teams, die in ihren Anwendungen große Mengen an Medieninhalten verarbeiten müssen, und nicht als herkömmlicher Videobearbeitungsprogramm zur Erstellung von Zeitstrahl-Clips, Filtern oder fertigen Videos.

Hauptfunktionen

Multimodale Videobeschreibung

• „Describe“ kann Videobeschreibungen in chronologischer Reihenfolge erzeugen; die Ergebnisse können Zusammenfassungen, Transkripte, Angaben zu den Sprechern, visuelle Szenen, Texte auf dem Bildschirm sowie Audioereignisse umfassen.
• Der Benutzer kann die gewünschte Modus wählen, um unerwünschte Verarbeitungen zu reduzieren; die Ergebnisse eignen sich für die Bearbeitung von Untertiteln, die Überprüfung von Inhalten, barrierefreie Beschreibungen sowie Suchindizes.
• Die Ergebnisbeschreibungen können in Abschnitten gelesen werden und können mit Miniaturbildern versehen sein, um das Überspringen zu dem jeweiligen Zeitpunkt zu erleichtern.

Strukturierte Datenextraktion

• Extract erhält natursprachliche Anweisungen oder eine benutzerdefinierte Struktur und gibt Entitäten sowie Felder aus, die vom Programm weiterverarbeitet werden können.
• Der Hinweismodus eignet sich dazu, herauszufinden, welche Informationen in einem Video enthalten sind, während der Strukturmodus dazu dient, bei Interviews, Produktvideos, Verkaufsgesprächen oder Forschungsmaterialien immer wieder dieselben Felder zu extrahieren.
• Eine Sammlung von Entitäten ermöglicht es, einheitliche Anweisungen und Strukturen auf eine Gruppe von Videos anzuwenden, um Teams dabei zu helfen, vergleichbare Datensätze zu erstellen.

Abschnitte, Aufnahmen und Kapitel

• Segmente ermöglichen es, Medien nach Aufnahmen oder Erzählabschnitten zu unterteilen und geben die Anfangs- und Endzeiten sowie eine Beschreibung für jedes Segment zurück.
• Entwickler können die segmentierten Ergebnisse nutzen, um Kapitelnavigationen, Kandidaten für Kurzvideos, Indexe von Schlüsselbildern oder feingranulare Sucheinheiten zu erstellen.
• Transkriptionsorientierte Erzählabschnitte eignen sich vor allem für Konferenzen und Podcasts, die hauptsächlich auf gesprochenem Wort beruhen; Kamerabewegungsabschnitte sind besser geeignet für Videos mit deutlichen Bildveränderungen.

Übergeordnete Video-Suche und -Fragenbeantwortung

• Die Suche unterstützt die semantische Suche in natürlicher Sprache und ermöglicht es, in Dateien oder Sammlungen relevante Videos, Ausschnitte sowie bestimmte Zeitpunkte zu finden.
• Die gemischte Suche ermöglicht die Kombination von allgemeinem Inhalt, sprachbasierten Schlüsselwörtern, Texten auf dem Bildschirm sowie Tags – dadurch werden Verluste visueller Informationen vermieden, die sonst bei der Suche nach Transkripten auftreten könnten.
• Die Chat Completions- und Responses-API ermöglichen es, nacheinander Fragen zu mehreren oder einem einzigen Datensatz zu stellen und dabei Referenzen auf Medieninhalte mit Zeitstempeln zurückzugeben.
• Deep Search führt mehrstufige Such- und Schlussfolgerungsprozesse durch und eignet sich zur Identifizierung von Forschungsantworten anhand großer Mengen an Videos; das Vorschau-Modell sollte nicht als zuverlässige Garantie angesehen werden.

Sammlungen und Medienverwaltung

• Sammlungen dienen dazu, Medien zu einem gemeinsamen Projekt zu organisieren; es können Indizes für verschiedene Zwecke wie Medienbeschreibungen oder Entitäten erstellt werden.
• Über die Datei-Interface kann man den Verarbeitungszustand, die Dauer, die Auflösung sowie die Kodierung und Vorschaubilder einsehen. Zudem werden Funktionen wie das Hinzufügen von Tags, das Teilen von Assets, das Extrahieren von Frames sowie die Erkennung und Abgleich von Gesichtern unterstützt.
• Webhooks können das Geschäftssystem über die Abschluss der asynchronen Verarbeitung oder Änderungen des Status informieren, um ein kontinuierliches Abfragen seitens des Clients zu vermeiden.

Unterschiede in der Eingabemethode und den Fähigkeiten

Typischer Nutzungsvorgang

1. Registrieren Sie ein Konto und erstellen Sie in der Konsole eine API-Schlüssel; der Schlüssel sollte in Umgebungsvariablen auf der Serverseite gespeichert werden, nicht im Frontend-Code oder in öffentlichen Repositorien.
2. Laden Sie lokale Medien hoch, fügen Sie öffentliche Links ein oder autorisieren Sie einen Cloud-Connector, um den Status der Dateiverarbeitung zu überprüfen.
3. Für Einzeldatei-Aufgaben können direkt Describe, Extract oder Segment aufgerufen werden; bei Massensuchen und -fragen müssen zunächst Sammlungen erstellt und Dateien hinzugefügt werden.
4. Wählen Sie je nach Aufgabe einen Zusammenfassungstext, Sprache, Bilder, Texte auf dem Bildschirm, Strukturfelder oder eine Segmentierungsstrategie aus und konfigurieren Sie für asynchrone Aufgaben eine Statusabfrage oder einen Webhook.
5. Suchen Sie in der Sammlung mit Search, Chat oder Responses – die zurückgegebenen Zeitstempel und Medienreferenzen werden anschließend an den Player oder die Business-Oberfläche weitergeleitet.
6. Vor dem Go-Live werden der Punkteverbrauch, der Antwortzustand sowie die Anzahl der Versuche zur Wiederholung bei Fehlern für jeden Endpunkt aufgezeichnet. Die Konkurrenzfähigkeit und das Budget werden entsprechend den tatsächlichen Limits des Kontos festgelegt.

Passend für Nutzer und Szenarien

• Entwicklerteam: Fügen Sie der Wissensdatenbank, dem Kundenservice oder den KI-Systemen Funktionen zur Video-Suche und zum Fragen-Antworten hinzu – ohne selbst Transkriptionen, visuelle Modelle sowie Vektor-Suchsysteme verwalten zu müssen.
• Vertrieb- und Kundenerfolgs-Team: Extrahiert aus Gesprächen und Präsentationen Einwände, Anforderungen, Produktfeedback sowie Handlungsempfehlungen und speichert die auffindbaren Abschnitte.
• Forschungs- und Medienteam: Suchen Sie in Interviews, Kursen, Podcasts oder Materialdatenbanken nach Momenten, in denen Personen, Themen, Bilder und Originalzitate auftauchen.
• Plattformbasierte Produkte: Sie liefern strukturierte Mediendaten für Videoverwaltung, Inhaltssicherung, Konferenzinformationen oder Bildungsanwendungen.
• Automatisierungs-Team: Durch Connector, Schnittstellen, Webhooks und MCP wird die Medienanalyse in bestehende Workflows oder KI-Assistenten integriert.

Preispakete

Der offizielle Preis wird in US-Dollar als Punkt-Paket angegeben. Für Abonnementanfragen sowie Lösungen für große Teams ist es notwendig, sich an den Verkauf zu wenden. Auf der Seite werden keine Angaben zur Gültigkeitsdauer des Punkt-Pakets, zu Steuern und Gebühren sowie zu den Regeln für Rückerstattungen und die Verwertung ungenutzter Punkte gemacht. Vor dem Kauf sollten diese Informationen auf der Zahlelseite überprüft werden.

In den Dienstleistungsbedingungen wird die Abonnementlaufzeit als monatliche Abrechnung nach Verbrauch angegeben, wobei erklärt wird, dass die Rechnungen monatlich gestellt werden und der Zahlungsbetrag innerhalb von 5 Tagen nach Erhalt der Rechnung zu leisten ist. Diese Angaben stimmen nicht vollständig mit den Angaben auf der öffentlichen Seite „Punktpakete auswählen“ überein; die tatsächlichen Kaufbedingungen, Kündigungsregeln sowie Zahlungsbedingungen sind auf der Kontoabrechnungsseite oder in der Unternehmensbestellung zu finden.

Hauptpunktabzug

Die Punkte werden nur bei erfolgreichen Anfragen entsprechend den Endpunkten und Funktionen verbraucht. Werte für einzelne Elemente wie Szenarioabschnitte sind in der offiziellen Tabelle nicht klar genug, sodass man daraus nicht schließen kann, dass sie kostenlos sind.

Limit und Nutzungseinschränkungen

• Die Schnittstelle setzt Geschwindigkeits- und Verbrauchslimits, bei Überschreitung wird ein entsprechender Fehler zurückgegeben; für höhere Limits ist es notwendig, sich an das Team zu wenden.
• Die Tarifdokumente verwenden weiterhin die Bezeichnungen Free Tier und Basic Tier, während auf der aktuellen Preisseite Namen wie Mini, Starter, Builder, Scale usw. verwendet werden – eine automatische Zuordnung zwischen den beiden ist daher nicht möglich.
• Auf der Übersichtsseite werden für die Pläne Free und Basic jeweils maximal 100 Dateien pro Monat angegeben, außerdem gilt eine Gesamtspeicherkapazität von 10 GB sowie eine maximale Gesamtlänge der Videos von 1000 Stunden. Die Anzahl der Sammlungen beträgt 50 bzw. 100, wobei in jeder Sammlung jeweils 50 bzw. 100 Dateien enthalten sein können.
• Auf derselben Seite sind außerdem die Anzahl der monatlichen Abfragen und Transkriptionen mit jeweils 200 bzw. 400 angegeben; die Chattenkapazität beträgt bei Free 500 pro Monat und 50 pro Tag, bei Basic 30.000 pro Monat und 1.000 pro Tag.
• Diese technischen Limits sowie die Punkte auf der Preisseite und die Anzahl der Chatanfragen werden zusammengeführt. Vor der Produktivumsetzung sollte im Account-Backend das tatsächliche Limit des aktuellen Pakets überprüft werden.

API, SDK und MCP

Open Source sind das SDK sowie der MCP-Server-Klientcode – das bedeutet jedoch nicht, dass die Hosting-Plattform von Cloudglue, die Modellverwaltung oder die Infrastruktur offen zugänglich sind. Um diese Komponenten zu verwenden, ist weiterhin ein Cloudglue-Konto, Schlüssel sowie Punkte erforderlich, und die Nutzung unterliegt den Bedingungen der Plattform.

Fähigkeitsgrenzen

• Automatische Beschreibungen, Transkriptionen, Entity-Extraktionen und Schlussfolgerungen können Details übersehen oder Fehler verursachen; in rechtlichen, medizinischen, sicherheitstechnischen und konformitätsbezogenen Kontexten ist eine manuelle Überprüfung der ursprünglichen Medien erforderlich.
• Der YouTube-Link verfügt derzeit nicht über eine vollständige Bildverarbeitung; wenn die Aufgabe von Bewegungen, Objekten, Texten auf dem Bildschirm oder Kamerawechseln abhängt, sollten die bearbeitbaren Originaldateien hochgeladen werden.
• Die Videobearbeitung ist in der Regel eine asynchrone Aufgabe; die Verzögerung hängt von der Dauer, der Auflösung, dem gewählten Modus sowie von der Größe der Warteschlange und der Sammlung ab.
• Die Deep Search- und Vorschaumodelle befinden sich in einer Phase des schnellen Wandels; die Schnittstelleinstellungen, die Qualität sowie die Kosten können sich ändern. In der Produktionsumgebung sollte daher eine bestimmte Version festgelegt werden und das Update-Log durchgelesen werden.
• Abspielbare Zitate helfen bei der Lokalisierung von Beweisen, sind aber nicht gleichbedeutend mit der Richtigkeit der Fakten; die endgültige Beurteilung muss weiterhin anhand des entsprechenden Abschnitts erfolgen.

Privatsphäre, Sicherheit und Urheberrecht

• Der Service kümmert sich um die Registrierung von E-Mails, Anmeldedaten Dritter, hochgeladene Videos oder Daten sowie um die Analyse der Nutzung der Website und der Produkte.
• Die Datenschutzerklärung nennt PostHog für die Verhaltensanalyse und Stripe für die Zahlungen und gibt an, dass personenbezogene Daten nicht verkauft, vermietet oder weitergegeben werden.
• Persönliche Informationen und hochgeladene Inhalte werden so lange aufbewahrt, wie es für die Erbringung der Dienstleistungen, gesetzliche Verpflichtungen sowie die Beilegung von Streitigkeiten notwendig ist. Es werden jedoch keine festgelegten Fristen für die Aufbewahrung oder automatische Löschung angegeben.
• Benutzer des Europäischen Wirtschaftsraums können den Zugriff, die Korrektur, Löschung, Übertragung, Einschränkung oder Widerspruch gegen die Verarbeitung beantragen; das Löschen des Connectors löscht nicht automatisch zuvor importierte Medien.
• Der Benutzer behält das Recht an den hochgeladenen Videos und Daten, muss jedoch bestätigen, über die Befugnis zu verfügen, diese Materialien zu verarbeiten, zu transkribieren, zu analysieren und zu teilen.
• Die Bestimmungen verbieten die Verarbeitung illegaler, schädlicher oder pornografischer Inhalte sowie das Umgehen von Gebrauchslimits, das Reverse-Engineering, den Wiederverkauf der Schnittstellen ohne schriftliche Genehmigung und den Einsatz der Plattform zur Erstellung oder zum Betrieb konkurrierender Produkte.
• Die Vervielfältigung, Änderung und erneute Verbreitung der von der Plattform bereitgestellten Inhalte ist nur zulässig, sofern dies ausdrücklich in den Bedingungen oder der entsprechenden SDK-Lizenz gestattet wird. Vor der kommerziellen Veröffentlichung müssen Urheberrechte, Persönlichkeitsrechte, Einwilligungen zur Datennutzung sowie Vertragsbedingungen mit den Kunden überprüft werden.

Rückerstattungen und Hinweise zur Kaufabwicklung

In den allgemeinen Bedingungen werden keine spezifischen Regeln für die Rückerstattung von Punktpaketen, die Stornierung von Käufen oder die Rückgabe der verbleibenden Punkte festgelegt. Für Unternehmensbestellungen, monatliche Rechnungen sowie Punktpakete können unterschiedliche Bedingungen gelten. Vor der Bezahlung sollte man die Zahlungsseite speichern und sich über die Rückerstattung, Fälligkeiten, Verlängerungen sowie Steuern informieren.

Zusammenfassung

Der Wert von Cloudglue liegt darin, dass es mehrmodale Videoanalyse, Indexierung von Datensätzen, Suchfunktionen, Fragen beantworten sowie strukturierte Extraktion in einer einheitlichen Entwicklungsplattform vereint. Zudem werden SDKs, MCP sowie verschiedene Medienanschlüsse bereitgestellt. Es eignet sich für Produktteams, die Videos in abfragbare Geschäftsdaten umwandeln möchten. Vor der Einführung sollten jedoch die Einschränkungen bezüglich des YouTube-Formats, die aktuellen Kontogrenzen, die Kosten sowie die Konformität bei der Verarbeitung der Inhalte sorgfältig überprüft werden.