Noiz AI

Was ist Noiz AI?

Noiz AI ist eine KI-Plattform für die Erstellung von Sprache und Sound, die sich an Inhaltsersteller, Marken und Entwickler richtet. Zu den Kernfunktionen gehören die emotionale Text-zu-Sprache-Umwandlung, die Stimmenklonierung, das Sounddesign, die Synchronisation in mehreren Sprachen sowie die Anpassung von Soundeffekten, Musik und Videosounds.

Es bietet nicht nur eine Werkbank zur Erstellung von Webseiten, sondern auch einen Entwickler-Dashboard sowie Funktionen für API und Agent Skills. Die technologische Basis der Plattform steht in Verbindung mit dem chinesischen Open-Source-Projekt zur Klonierung von Stimmen namens MockingBird, doch der kommerzielle Noiz-Service selbst ist keine Open-Source-Plattform.

Hauptfunktionen von Noiz AI

• Text zu Sprache umwandeln:Übersetzen Sie das Drehbuch in eine natürlichere Erzählstimme und kontrollieren Sie Emotionen, Sprachtempo, Pausen, Betonung und Ausdrucksstärke.
• Voice Library：Stimmen aus verschiedenen Sprachen, Geschlechtern, Altersgruppen, Akzenten und Anwendungsszenarien auswählen.
• Stimmenklonierung:Erstellen Sie digitale Klänge mit klaren Aufnahmen von etwa 3 bis 10 Sekunden Länge und erzeugen Sie weiterhin mehrsprachige Inhalte.
• Voice Design：Neue Geräusche, die nicht in der Tonbibliothek vorhanden sind, werden durch Text oder Bilder der Charaktere beschrieben.
• Mehrfach-Dialoge:Verschiedene Stimmen für Rollen zuweisen für Podcasts, Hörbücher, Animationen und Spiel-Skripte.
• Video-Synchronisation:Übersetzen Sie das Video und erzeugen Sie eine Spur in der Zielsprache, wobei Sie so weit wie möglich den ursprünglichen Klang, die Stimmung und den Rhythmus beibehalten sollten.
• Sound Design：Erstellen von Umgebungsgeräuschen, Soundeffekten, Aufprallgeräuschen und filmischen Klangeffekten auf der Grundlage der textlichen Beschreibung.
• Smart Video Sound：Analyse die Videobewegungen und Emotionen, um Soundeffekte oder Hintergrundmusik zu erzeugen, die zum Rhythmus des Bildes passen.
• KI-Musik:Erstellung von Musik- und Spurenrichtungsmaterialien aus Hinweisen zu Stil, Stimmung, Geschwindigkeit, Tonart, Instrumenten und Struktur.
• API und Agent-Fähigkeiten:Integrieren Sie Sprachsynthese, Stimmenklonierung und Sounddesign in Anwendungen, automatisierte Prozesse oder AI-Agenten.

Preisvergleich der Noiz-Pakete

Im Folgenden sind die in der offiziellen Preisliste angegebenen Preise in US-Dollar aufgeführt. Der Wert in der Spalte „Jahreszahlung“ gibt den durchschnittlichen Monatspreis nach jährlicher Abrechnung an. Aktionen, Steuern, Währung sowie die Preise für Verlängerungen können sich ändern; vor dem Kauf sollte immer die Endabrechnungsseite herangezogen werden.

Die angegebenen Minutenzahlen sind Schätzwerte von der offiziellen Preisseite und stellen keine feste Umrechnungsrate für alle Funktionen dar. Für Funktionen wie Stimmenklonierung, Voice Design, Sound Design, Erstellung mehrerer Ergebnisse sowie verschiedene Videoaufgaben können separate Limits oder Multiplikatoren gelten.

Wie wählt man zwischen Lite, Pro und Ultra?

Regeln für die Verwendung von Credits

• Abzug nach Aufgabe:Die Länge des Textes, die Dauer des Audios, die Dauer des Videos sowie die verwendeten Funktionen beeinflussen den Verbrauch.
• Mehrere Ergebnisse erzeugen:Die Erstellung mehrerer Kandidaten auf einmal führt in der Regel zu einem höheren Verbrauch in Abhängigkeit von der Anzahl der Ausgaben.
• Erneut generieren:Nach der Anpassung von Stimmung, Stimme oder Script und erneuter Einreichung können weitere Credits abgezogen werden.
• Monatliches Limit:Die Paketseite wird in Credits/Monat angezeigt; die Verlängerungsdatum und die Übertragungsregeln sollten im Konto überprüft werden.
• Anzahl der Funktionen:Klangklonierung, Sounddesign und Effektdesign können eine andere monatliche Anzahl haben.
• Technische Fehler:Die Bedingungen garantieren die Rückerstattung der genutzten Minuten im Falle eines Scheiterns bei der Erstellung von Videos aufgrund technischer Fehler der Plattform.
• Upgrade-Erweiterung:Wenn der Betrag nicht ausreicht, kann man die Mitgliedschaft aufwerten oder zusätzliche Leistungen erwerben – genaue Informationen finden Sie auf der Kaufseite.

Anleitung zur Text-zu-Stimme-Übersetzung

1. Script organisieren:Löschen Sie Webadressen, Sonderzeichen und Anmerkungen, die nicht vorgelesen werden müssen, und teilen Sie den Text nach Rollen und Absätzen auf.
2. Ton auswählen:Hören Sie sich mehrere Kandidaten nach Sprache, Akzent, Alter, Stil und Verwendungszweck an.
3. Stimmung einstellen:Wählen Sie je nach Situation Ausdrücke wie ruhig, fröhlich, angespannt, traurig oder andere und steuern Sie die Intensität.
4. Rhythmus anpassen:Zahlen, Namen und Fachbegriffe mit Satzzeichen, Pausen, Sprechtempo und Betonung bearbeiten.
5. Kurztest:Erstellen Sie einen kurzen Abschnitt, um Aussprache, Klangfarbe und den Creditsverbrauch zu überprüfen.
6. Teilweise Erstellung:Lange Inhalte werden nach Kapiteln oder Szenen erstellt, um zu vermeiden, dass eine einzige Änderung den gesamten Abschnitt erneut erstellen lässt.
7. Exportieren des Mixes:Nach dem Herunterladen des Audios werden Lautstärke, Rauschreduzierung, Musik und Untertitel angepasst, bevor es zur Freigabe überprüft wird.

Anleitung zur Klonierung von Stimmen

1. Autorisierung bestätigen:Es darf nur die eigene Stimme geklont werden, oder es bedarf der ausdrücklichen schriftlichen Zustimmung des Rechteinhabers der Stimme.
2. Vorbereitung der Aufnahme:Aufnehmen von 3 bis 10 Sekunden reiner Stimme einer Person, wobei die Umgebung ruhig sein soll, der Lautstärkelevel konstant und keine Musik vorhanden ist.
3. Proben hochladen:Gehen Sie zu Voice Clone, übermitteln Sie die Aufnahme und erfüllen Sie die von der Plattform geforderten Überprüfungen.
4. Voranschau erstellen:Verwenden Sie neutrale kurze Sätze, um Klangfarbe, Akzent, Störgeräusche und Aussprachengenauigkeit zu überprüfen.
5. Emotionen testen:Hören Sie sich jeweils Ausdrücke wie ruhig, aufgeregt und ernst an, um eine zu hohe Intensität zu vermeiden, die zu Verzerrungen führt.
6. Ton speichern:Verwenden Sie klare Namen für Rollen oder Marken und beschränken Sie die Zugriffsrechte des Teams.
7. Veröffentlichungs-Identifikator:Äußere Inhalte werden gemäß den geltenden Regeln als von KI erstellt gekennzeichnet, wobei die Lizenz- und Erstellungsdaten beibehalten werden.

Tutorial zur Übersetzung und Synchronisation von Videos

1. Laden Sie das Video mit den Verarbeitungsrechten hoch und überprüfen Sie die Lizenzen für die Originaltonspur, die Stimmen der Personen sowie die Hintergrundmusik.
2. Wählen Sie die Quell- und Zielsprache aus, führen Sie zunächst eine automatische Transkription durch und korrigieren Sie anschließend Namen, Markennamen sowie Zahlen manuell.
3. Wählen Sie Klangfarben aus der Soundbibliothek oder lizenzierte klonierte Klänge aus und legen Sie die Zuordnungen zu den Charakteren fest.
4. Überprüfen Sie, ob die Übersetzung den regionalen Ausdrucksweisen entspricht, und übersetzen Sie keine Wort für Wort – weder Wortspiele noch kulturelle Anspielungen.
5. Nach der Erstellung der Synchronisation werden Lippenbewegungen, Pausen, Stimmung, Sprachtempo und Bildwechsel überprüft.
6. Anpassen Sie die Lautstärke der Gesangsstimmen, der Originalgeräusche und der Musik. Schauen Sie sich das fertige Video vor dem Export noch einmal in seiner Gesamtheit an.

Anleitung zur Verwendung von Smart Video Sound

1. Videovorbereitung:Die offiziellen Richtlinien empfehlen die Verwendung von MP4-, MOV- oder AVI-Dateien, die weniger als 1 Minute lang und weniger als 10 MB groß sind.
2. Auswahlmode:Wählen Sie Smart Audio für Bewegungen, Aktionen und Produktpräsentationen sowie Music für emotionale und filmische Inhalte.
3. Zusätzliche Beschreibung:Geben Sie Umgebung, Stil, Instrumente oder die wichtigen Klänge an, die vorkommen sollen.
4. Einstellen der Lautstärke:Bei Videos mit Dialogen beginnt die Erstellung mit einer niedrigeren Lautstärke, um die Stimmen nicht zu übertönen.
5. Erstellen eines Hörbeispiels:Überprüfen Sie, ob Schritte, Kollisionen, Übergänge und Musikwechsel mit den Bildern synchron sind.
6. Exportieren von Spuren:Für professionelle Projekte sollten zunächst die Stems heruntergeladen werden, um sie anschließend in der Bearbeitungssoftware weiter zu mischen.

Die offiziellen Anleitungen besagen, dass pro Mal maximal 5 Videos hochgeladen werden können. Jedes Video wird einzeln analysiert und verarbeitet. Bevor man mehrere Videos auf einmal einreicht, sollte man zunächst mit einem kurzen Video vergleichen, wie Smart Audio im Vergleich zu Music funktioniert – erst danach sollte man weitere Ressourcen nutzen.

Noiz API und Entwicklerfähigkeiten

• Entwickler-Dashboard:Erstellen und verwalten Sie API-Zertifikate sowie überprüfen Sie die kostenlosen oder gekauften Entwickler-Credits.
• Stimmsynthese:Integrieren Sie emotionale TTS in Anwendungen, Spiele, Kurse, Kundenservice und Content-Pipelines.
• Stimmenklonierung:Nach Abschluss der Berechtigungs- und Authentifizierungsprozesse werden Stimmen für autorisierte Marken oder Rollen erstellt.
• Agent-Stimme:Lassen Sie Chat-Agents, Kundenservice-Roboter und interaktive Charaktere natürliche Antworten erzeugen.
• Massenautomatisierung:Erstelle Audio nach Skript, Rolle und Sprache und überwache Aufgaben, Zeitüberschreitungen und Credits.

Die Preise, Geschwindigkeiten, Modelle sowie die kostenlosen Nutzungslimits der Entwickler-API sollten in Echtzeit im Dashboard angezeigt werden. Sie dürfen nicht standardmäßig mit den persönlichen Abonnements gemeinsam genutzt werden. Die Schlüssel müssen auf der Serverseite gespeichert werden, und es sollten Obergrenzen für die Nutzung sowie Alarmfunktionen bei Störungen eingestellt werden.

Für welche Nutzer eignet sich Noiz?

• Kurzvideo-Ersteller:Schnelle Erstellung von emotionalen Sprachnachrichten, Kommentaren, Soundeffekten und Musik.
• Podcast- und Hörbuch-Team:Erstellen Sie Inhalte mit mehreren Charakteren und halten Sie die Klangfarbe zwischen den Kapiteln konstant.
• Entwickler von Spielen und Animationsfilmen:Testen von Charakterstimmen, Batch-Sprechzeilen und Szeneneffekten.
• Kurs- und Schulungsteam:Übersetzen Sie Lehrmaterialien in mehrsprachige Sprachausgaben und aktualisieren Sie den Inhalt schnell.
• Marketing und Marke:Einen autorisierten Markenklang schaffen und Werbung lokalisieren.
• Anwendungsentwickler:Über die API werden Stimmen für Agenten, IVR und das Produkterlebnis hinzugefügt.

Vorteile des Produkts

• Betonen Sie Emotionen, Atmung, Pausen und Tonfall – streben Sie nicht nur nach einer standardmäßigen Vorlesart.
• Stimmlibraries, Cloning, Voice Design, Synchronisation, Soundeffekte und Musik sind auf einer Plattform zusammengefasst.
• Kurze Aufnahmen reichen aus, um eine Klangvorlage zu erstellen – sie eignen sich gut für schnelle Tests der Stimme von Charakteren und Marken.
• Unterstützung mehrerer Sprachen und Akzentrichtungen zur einfachen Lokalisierung von Inhalten;
• Bietet API und Agent Skills für automatisierte sowie interaktive Produkte;
• Die offiziellen Bedingungen erlauben die Verwendung der erstellten Inhalte in kommerziellen Kontexten, sofern dies den Vorschriften entspricht.

Anforderungen an die Konformität bei der Klonierung von Stimmen

• Es ist nicht gestattet, ohne Genehmigung Aufnahmen von Kollegen, Kunden, Schauspielern, Internetpersönlichkeiten oder öffentlichen Persönlichkeiten hochzuladen.
• Die Stimmen Minderjähriger erfordern die Zustimmung eines Vormunds sowie eine sorgfältige Beurteilung des Veröffentlichungsrisikos;
• Es darf nicht zur Betrug, Täuschung, falschen Empfehlungen, politischer Täuschung oder zum Umgehen der Identitätsüberprüfung verwendet werden.
• Die Genehmigung muss die Sprache, den Inhaltstyp, das Medium, die Region, die Dauer sowie die Möglichkeit einer erneuten Schulung angeben.
• Bei der Veröffentlichung nach außen müssen die synthetischen Eigenschaften klar angegeben werden, damit das Publikum nicht den Eindruck gewinnt, es handele sich um echte Äußerungen.
• Konten, geklonte Stimmen und API-Schlüssel sollten auf den Zugriff beschränkt werden und nach Beendigung der Genehmigung nicht mehr verwendet werden.

Urheberrechte, kommerzielle Nutzung und Rückgaberegeln

Laut den Bedingungen von Noiz behält der Nutzer das Eigentum an den Inhalten, die er über den Service erstellt. Er darf diese Inhalte unter Einhaltung der gesetzlichen Vorschriften und der Bedingungen auch außerhalb des Services sowie in geschäftlichen Kontexten nutzen. Der Nutzer muss jedoch sicherstellen, dass Skripte, Aufnahmen, Töne, Musik sowie die endgültigen Inhalte keine Urheberrechte oder Privatsphärerechte Dritter verletzen.

Für eine Verlängerung der Mitgliedschaft kann innerhalb von 24 Stunden nach der Verlängerung – vorausgesetzt, im neuen Zeitraum wurden keine Minuten genutzt – ein Rückgabeantrag gestellt werden. Änderungen des Abonnementpreises werden im Voraus mitgeteilt. Die Stornierung und Rückerstattung können zudem von der Zahlungsmethode sowie den geltenden Gesetzen im jeweiligen Land abhängen.

Erklärung zum Open-Source-Projekt MockingBird

Der technische Weg der Gründer von Noiz begann mit dem chinesischen Projekt zur Klonierung von Stimmen namens MockingBird; der offizielle Blog bezeichnet dies ebenfalls als Ausgangspunkt der Open-Source-Community. In diesem Repository wird nun ausdrücklich angegeben, dass es nicht mehr aktiv aktualisiert wird, und die Optimierungen im Bereich Cloud-Hosting werden auf Noiz verlagert.

Der MockingBird-Code ist kein und dasselbe Produkt wie die kommerzielle Noiz-Plattform; Funktionen, Modelle, Qualität, Wartung sowie Lizenzbedingungen unterscheiden sich. Die README-Datei im Repository gibt Anweisungen nach dem MIT-Lizenzmodell, doch für Trainingsdaten, vorgefertigte Modelle und Abhängigkeiten müssen die jeweiligen Lizenzen separat überprüft werden.

Häufige Fragen

Ist Noiz AI kostenlos?

Es wird eine begrenzte kostenlose Menge zur Verfügung gestellt, die zum Testen der Sprachgenerierung, der Erstellung von Sounds sowie zum Herunterladen genutzt werden kann. Für kontinuierliche Generierung, kommerzielle Produktion oder Aufgaben mit hohem Datenvolumen eignet sich eher die Version Lite, Pro oder Ultra.

Wie lange muss eine Aufnahme für die Klonierung eines Noiz-Tons sein?

Die offiziellen Richtlinien empfehlen Aufnahmen einer einzelnen Person, die etwa 3 bis 10 Sekunden lang sind und klar klingen, ohne Hintergrundmusik. Noch wichtiger ist, dass man eine Genehmigung zur Klonierung und Nutzung dieser Stimme besitzt.

Kann mit Noiz erstellte Inhalte kommerziell genutzt werden?

Die offiziellen Bedingungen erlauben die Verwendung in geschäftlichen Kontexten, sofern dies den Vorschriften entspricht, und besagen, dass der Nutzer das Recht an dem erstellten Inhalt behält. Die Rechte Dritter an Stimmen, Scripts, Musik und anderen Materialien liegen weiterhin beim Nutzer.

Hat Noiz eine API?

Es gibt ein Dashboard für unabhängige Entwickler, das Anmeldeinformationen und Credits zur Integration von APIs und Agenten bereitstellt. Die tatsächlichen Schnittstellen, Modelle, Preise sowie Geschwindigkeiten richten sich nach der Seite für Entwickler.

Ist Noiz Open Source?

Die Noiz-Plattform ist kein Open-Source-Produkt. Das zugehörige MockingBird-Projekt hat zwar seinen Code veröffentlicht, wird jedoch nicht mehr aktiv gewartet und stellt somit keinen vollständigen Noiz-Dienst dar.