Dubverse

Was ist Dubverse?

Dubverse ist eine KI-basierte Plattform für mehrsprachige Synchronisation und Untertitelung, die sich an Video-Ersteller, Bildungseinrichtungen, Marketingteams und Unternehmen richtet. Nach dem Hochladen eines Videos oder Importieren von Inhalten kann die ursprüngliche Sprache automatisch transkribiert, der Text übersetzt werden, die ZielSprache sowie ein KI-Stimmenmodell ausgewählt werden – anschließend werden Videos, Audiodateien oder Untertiteldateien erstellt.

Die Plattform unterteilt die Funktionen in DUB, SUB und SAY: DUB wird für die Übersetzung und Synchronisation von Videos verwendet, SUB für die Transkription und Untertitelung, SAY zur Erzeugung von Sprache aus Text. Die fortgeschrittenen Versionen bieten zudem Stimmenklonierung, Priorisierung der Bearbeitung, anpassbare Untertitel sowie verbesserte Übersetzungsmodelle.

Entwickler, die in ihren Programmen Sprache in großen Mengen synthetisieren möchten, können eine separate TTS-API nutzen. Die Abrechnung erfolgt dabei nach Anzahl der Zeichen – dies unterscheidet sich von den Credits im Webbrowser.

Kernfunktionen von Dubverse

KI-gestützte Synchronisation und Übersetzung von Videos

Dubverse kann die Sprache in Videos erkennen, sie in Abschnitte aufteilen, ins Zielgericht übersetzen und neue Tonspuren erstellen. Nutzer können im Advanced Studio den Text ändern, bestimmte Abschnitte erneut bearbeiten, Passagen wiederholen und den Sprechrhythmus anpassen.

Maschinelle Übersetzer können Personennamen, Markennamen, Slang und Kontext falsch interpretieren; sie sollten vor der Veröffentlichung von jemandem, der die Zielsprache beherrscht, überprüft werden.

Automatische Untertitel

Die SUB-Funktion wandelt Video-Ton in Untertitel auf einer Zeitachse um und unterstützt animierte Stile sowie gängige Exportrichtungen für Untertitel. Die automatische Transkription wird durch Akzente, Hintergrundgeräusche, mehrere Sprecher gleichzeitig sowie Fachbegriffe beeinflusst. Bei den Untertiteln müssen nicht nur der Text, sondern auch die Satzstruktur, die Länge jeder Zeile, das Erscheinungszeitpunkt und die Lesegeschwindigkeit überprüft werden.

KI-Text-zu-Stimme-Übersetzung

SAY kann Skripte in künstliche Sprachaufnahmen umwandeln, die sich für Erklärungen, Kurse, Werbung und Berichterstattung eignen. Die Nutzer können aus verschiedenen Sprechern wählen und die Abschnitte je nach Situation anpassen.

Die alleinige Verwendung von SAY verbraucht weniger Credits als eine vollständige Video-Untertitelung; wenn bereits ein genauer Übersetzungstext vorhanden ist, ist es in der Regel kostengünstiger, nur die Tonspur zu verwenden.

Klangklonierung

Supreme sowie die entsprechenden Premium-Dienste bieten die Möglichkeit zur Stimmenklonierung, wodurch die Stimme eines autorisierten Sprechers in verschiedenen Sprachen erzeugt werden kann. Je sauberer die Aufnahmeproben sind und je stabiler der Tonfall, desto besser ist in der Regel das Ergebnis.

Die Klonierung von Stimmen erfordert die ausdrückliche Genehmigung des Betroffenen. Es ist nicht zulässig, sich als Persönlichkeiten aus der Öffentlichkeit, Mitarbeiter, Kunden oder Verwandte auszugeben, und sie darf weder zur Betrug begangen noch zur Umgehung von Authentifizierungsverfahren verwendet werden.

Mehrfachsprache und Lokalisierung von Unternehmen

Die Unternehmenslösung bietet Funktionen wie mehrere Sprecher, Lippenbewegungs-Synchronisation, menschliche Überprüfung, anpassbare AI-Modelle sowie end-to-end-Medienverwaltung und eignet sich für die großflächige Lokalisierung von Lehrmaterialien, Filminhalten und Markenvideos. In Mehr-Sprecher-Szenarien muss man die Sprecher korrekt voneinander trennen und für jede Rolle einen konstanten Stimmton beibehalten; bei komplexen Projekten ist in der Regel eine manuelle Qualitätskontrolle erforderlich.

Studio-Editor und Export

Das Pay-as-you-go-Paket bietet Wasserzeichenfreiheit, unbegrenzte Downloads, einen Projektverlauf, die Anpassung von Transkripten sowie weitere Untertitelformate. Die maximale Länge der exportierbaren Videos, die Stile der Untertitel, die Verarbeitungsprioritäten sowie die Regeln zur Aufbewahrung von Projekten variieren je nach Paket.

Wichtige Projekte sollten das Originalmanuskript, die Überarbeitungsversion, die Genehmigungsunterlagen sowie das endgültige Produkt aufbewahren.

Vergleich der Preise für Dubverse-Creator-Pakete

Im Folgenden sind die derzeit auf der offiziellen internationalen Preisseite angegebenen Mindestpreise für einen Monatsvertrag. Die Währung ist der US-Dollar. Jeder Tarif beinhaltet 50 Credits. Auf der Seite kann außerdem zwischen 50, 100, 500 oder 1.000 Credits sowie längeren Zahlungszyklen gewählt werden. Der tatsächliche Gesamtpreis variiert je nach Region, Steuern, Zahlungszyklus und Credit-Menge.

Die Rabatte für Langzeitverträge gelten gemäß der Zahlelseite.

Vergleich der Dubverse-Credits-Verbrauch

Die Credits für das 30-Tage-Programm werden in der Regel einmalig ausgezahlt, während sie beim 180-Tage-Programm monatlich ausgezahlt werden. Es ist möglich, zusätzliche Credits auf der Plattform zu kaufen – doch diese zusätzlichen Credits verlängern die Gültigkeit des Abonnements nicht automatisch.

Laut der Hilfeseite gibt es nach Ablauf der Abonnementlaufzeit ein Zeitfenster von 10 Tagen zur Verlängerung; falls dieses Zeitfenster überschritten wird, verfallen die nicht genutzten Credits.

Vor dem endgültigen Kauf sollten die aktuellen Regeln erneut überprüft werden.

Vergleich der Preise für die Dubverse TTS-API

Die TTS-API wird nach der Anzahl der verarbeiteten Zeichen abgerechnet – es werden keine Credits pro Minute für die Web-Oberfläche berechnet. In den offiziellen Entwicklungsunterlagen steht eine kostenlose Testmöglichkeit von 5.000 Zeichen zur Verfügung. Für einen hohen Bedarf oder bei einer Audio-Länge von mehr als 100 Minuten kann man sich nach einem Paketpreis erkundigen.

Wie wählt man zwischen Pro und Supreme?

Für einfache Übersetzungen von Kurzvideos, grundlegende Untertitel sowie allgemeine Tonqualitäten reicht Pro aus. Wird eine Stimmenklonierung, längere Videos, Priorisierung bei der Bearbeitung, individuelle Untertitel oder eine verbesserte Übersetzungsfunktion benötigt, sollte man Supreme wählen.

Bevor man etwas auswählt, sollte man die Anzahl der Credits anhand der tatsächlichen Video-Länge berechnen: Zum Beispiel benötigt ein 10-minütiges vollständig synchronisiertes Video etwa 40 Credits, während für die Erstellung von Untertiteln zu derselben Inhaltsnachricht nur etwa 10 Credits erforderlich sind.

Wenn ein Team mehrere Rollen benötigt, eine manuelle Überprüfung, die Synchronisation der Lippenbewegungen, eine individuelle Tonqualität oder eine Systemintegration in großen Mengen, reicht in der Regel ein Creator-Abo nicht aus. In solchen Fällen sollte man direkt den Umfang der Enterprise-Lösung mit den Möglichkeiten der TTS-API vergleichen. Man sollte nicht unnötig viele Credits für eine bestimmte Erweiterungsfunktion kaufen, wenn dabei die maximale Dauer des Projekts sowie die Anforderungen an die Lizenzen außer Acht gelassen werden.

Dubverse-Video-Übersetzungs- und Synchronisierungs-Leitfaden

1. Videovorbereitung:Verwenden Sie Queldateien mit klarer Gesangsstimme, leiser Hintergrundmusik und wenig Überschneidung beim Sprechen.
2. Wählen Sie DUB aus:Laden Sie ein Video hoch oder verwenden Sie die von der Plattform unterstützten Importmethoden, um die Ausgangssprache und die Zielsprache anzugeben.
3. Überprüfung der Transkription:Zuerst werden Namen, Markennamen, Zahlen, Begriffe und Absätze korrigiert, bevor mit der Übersetzung begonnen wird.
4. Überprüfung der Übersetzung:Bewahren Sie den ursprünglichen Sinn und die Sprechlänge bei, um zu vermeiden, dass die Übersetzung zu lang wird und dadurch die Sprachgeschwindigkeit erhöht oder der Text außerhalb des Bildes erscheint.
5. Wählen Sie den Sprecher aus:Probieren Sie die Versionen nach Alter der Charaktere, Tonfall und Inhaltstyp aus; bei Mehrpersonen-Videos bleibt die Zuordnung der Charaktere konstant.
6. Voranschau erstellen:Erst werden die kurzen Abschnitte bearbeitet, wobei Aussprache, Rhythmus, Lautstärke, Untertitel und Lippenbewegungen überprüft werden.
7. Teilweises Neuausführen:Verwenden Sie „Umschreiben“ und „Absatzbearbeitung“, um Probleme zu beheben – erzeugen Sie nicht immer wieder das gesamte Projekt, was Ressourcen verschwendet.
8. Export der Qualitätskontrolle:Laden Sie die fertige Datei sowie die Untertitel herunter und überprüfen Sie auf dem Handy sowie am Desktop die Synchronisation, die Bildqualität und den Sicherheitsbereich.

Tutoriel zur Erstellung von Untertiteln

1. Wählen Sie SUB aus und laden Sie Audio- und Videodateien hoch, um die Quellsprache zu bestätigen.
2. Erstellen einer nach Satz korrigierten Transkription mit Sprecherangabe.
3. Die Übersetzung sollte nur dann durchgeführt werden, wenn mehrere Sprachen erforderlich sind, und anschließend von einer Person in der Zielsprache überprüft werden.
4. Anpassen von Satzzeichen, Zeitachse, Zeichen pro Zeile und Untertitelformat.
5. Exportieren Sie Videodateien oder Untertitelfile und überprüfen Sie die Kompatibilität mit der Ziel-Editiersoftware sowie der Veröffentlichungsplattform.

Wichtige Punkte zur Anbindung der TTS-API

Nachdem der Entwickler die TTS-API auf seiner Workbench aktiviert hat, erhält er die Zugangsdaten. Anschließend kann er gemäß den Anweisungen im Dokument das passende Modell, den Sprecher sowie die Parameter für Text und Audio auswählen. Die Rechnung wird nach der Anzahl der verarbeiteten Zeichen berechnet. Auf der Seite können die Anzahl der Aufrufe, die Anzahl der Zeichen, die Verteilung der Sprecher sowie die historischen Trends angezeigt werden.

API-Schlüssel sollten nur auf der Serverseite gespeichert werden, und es sollten Obergrenzen für die Nutzung, Konkurrenzkontrolle sowie Wiederholungsversuche bei Fehlern festgelegt werden.

Durch die gleichen festen Formulierungen können Ergebnisse im Cache gespeichert werden, um wiederholte Zahlungen zu vermeiden; zahlreiche kurze Texte können gemäß den Schnittstellenbeschränkungen sinnvoll zusammengefasst werden.

Wenn die API die Nutzungsgrenze erreicht, kann sie vorübergehend eingeschränkt werden. Es ist notwendig, die Rechnung zu begleichen oder den Support zu kontaktieren, um die Grenze erhöhen zu lassen.

Webseiten-Abonnements-Credits können nicht direkt als API-Zahlungsrückstand verwendet werden.

Unterschiede zwischen Open-Source-Projekten und -Plattformen

Die Dubverse-Plattform zur Lokalisierung von Werbevideos ist an sich kein Open-Source-Produkt. Allerdings hat die offizielle GitHub-Organisation Projekte wie MahaTTS, MahaTTS v2, Kataloge mit Sprachdaten sowie API-Dokumentation veröffentlicht.

Die erste Version von MahaTTS wird unter der Apache 2.0-Lizenz bereitgestellt und bietet Modelle zur Unterstützung, enthält jedoch nicht die vollständigen Funktionen für Transkription, Übersetzung, Untertitelung, Bearbeitung, Hosting sowie Unternehmensworkflows der Dubverse-Webplattform.

Die Code- und Modellnutzungsbedingungen für MahaTTS v2 müssen anhand der aktuellen Dateien im Repository überprüft werden. Man darf nicht davon ausgehen, dass aufgrund der Bezeichnung „Open-Source“ sowohl die Rechte als auch die Daten uneingeschränkt für kommerzielle Zwecke genutzt werden können. Für eine eigene Implementierung sind außerdem eine GPU, eine geeignete Umgebung, Sicherheitsmaßnahmen für das Modell sowie Lizenzen für die verwendeten Audiodaten erforderlich.

Für welche Benutzer geeignet

• Kreative, die YouTube, Kurse und Kurzvideos in mehrere Sprachen übersetzen;
• Team für die Erstellung von Werbung für internationale Märkte, Produktpräsentationen und Social-Media-Videos;
• Förderung von Schnittern, die automatische Untertitel, Untertiteltoleration und Export in mehreren Formaten benötigen;
• Unternehmen, die große Mengen an Schulungs-, Medien- oder Bildungsinhalten verwalten;
• Entwickler, die mithilfe der Zeichenzähler-API Sprache in Produkten erzeugen.

Vorteile und Bedenken

• Der Vorteil von Dubverse besteht darin, dass Transkription, Übersetzung, Synchronisation, Untertitelung sowie Studio-Editing in einem einzigen Prozess zusammengefasst werden. Zudem werden die drei Arbeiten durch Credits klar voneinander unterschieden – was besonders für Inhalte in indischen Sprachen sowie für internationale, mehrsprachige Inhalte geeignet ist.
• Pro, Supreme und Enterprise decken die Bedürfnisse von Einzelpersonen bis hin zu Organisationen ab, es gibt außerdem eine separate TTSAPI;
• Die Einschränkungen sind, dass die vollständige Synchronisation viel Speicherplatz pro Minute verbraucht, fortgeschrittene Funktionen durch Paketbeschränkungen eingeschränkt sind und bei der KI-Übersetzung, der Sprechererkennung sowie der Aussprache und Lippenbewegungen Fehler auftreten können.
• Videos, Drehbücher, Töne, Musik, Porträts von Personen sowie Übersetzungen können Urheberrechte beinhalten. Vor der Veröffentlichung ist eine Genehmigung einzuholen, die Fakten zu überprüfen und synthetische Inhalte gemäß den geltenden Vorschriften offenzulegen.

Häufige Fragen

Ist Dubverse kostenlos?

Es wird eine 2-tägige Testversion ohne Kreditkarte angeboten. Die Hilfeseite gibt an, dass 20 kostenlose Credits zur Verfügung stehen. Die Regeln für den Test können sich ändern – es gelten die Angaben auf der Registrierungsseite.

Wie lange kann man mit 50 Credits Synchronisationen durchführen?

Die vollständige DUB-Verarbeitung wird mit 4 Credits pro Minute berechnet – dadurch können etwa 12,5 Minuten verarbeitet werden. Bei SAY sind es etwa 25 Minuten.

SUB ca. 50 Minuten. Die tatsächliche Abrechnung erfolgt nach Projekt.

Was ist der Unterschied zwischen Pro und Supreme?

Supreme bietet erweiterte Funktionen wie Stimmenklonierung, Priorisierung der Verarbeitung, verbesserte Übersetzungen, benutzerdefinierte animierte Untertitel sowie eine höhere Länge für einzelne Videos; Pro eignet sich für grundlegende Synchronisation und Untertitel.

Hat Dubverse eine API?

Es wird eine eigenständige TTS-API bereitgestellt. Derzeit wird pro 1.000 Zeichen gemäß dem verwendeten Modell abgerechnet; es stehen außerdem 5.000 Zeichen für kostenlose Tests zur Verfügung. Die Abrechnung über die API entspricht nicht den Creator-Abonnementspunkten.

Ist Dubverse Open Source?

Die Geschäftsplattformen sind nicht open source, doch die Entwickler haben Projekte für die Sprachverarbeitung wie MahaTTS veröffentlicht. Die open source-Modelle beinhalten keine vollständigen Dienste zur Lokalisierung von Videos.