Xunfei Zhizuo

Was ist iFlytek SmartWorks?

Xunfei ZhiZuo ist eine von iFlytek für Inhaltscreatoren, Bildungseinrichtungen, Medienunternehmen und Firmenkunden entwickelte AI-Plattform für die Erstellung von Audio- und Videoinhalten. Zu den Kernfunktionen gehören die Umwandlung von Text in Sprache, die Mehrstimmensynchronisation, die Nachahmung von Stimmen, die Präsentation durch virtuelle Personen sowie die Erstellung von Videos. Die Nutzer können im Browser einen Text eingeben, eine Stimmlage sowie Sprechparameter auswählen, um Text in Audio umzuwandeln – oder digitale Personen beauftragen, auf Basis des Textes Videopräsentationen zu erstellen.

Es eignet sich besser für die standardisierte, serienmäßige Erstellung chinesischer Inhalte, wie z. B. Untertitel zu Lehrinhalten, Kommentare zu Kurzvideos, Nachrichtenberichte, Unternehmensschulungen, Werbeanzeigen und audiobezogene Inhalte. Die Xunfei ZhiZuo-Webversion ist ein Tool zur Erstellung fertiger Produkte.

Entwickler, die in einer App, auf einer Website oder in einem Unternehmenssystem automatisch Sprachsynthesefunktionen einsetzen möchten, sollten stattdessen die Sprach-API der iFlytek Open Platform verwenden.

Die Rechte, Limits und Abrechnungsmethoden der Konten können unterschiedlich sein.

Kernfunktionen von iFlytek Smart Creation

KI-Text-zu-Stimme-Übersetzung

Nachdem der Benutzer den Text eingefügt hat, kann er eine Stimme mit unterschiedlichem Geschlecht, Alter, Sprachstil und Anwendungsfall auswählen sowie die Sprechgeschwindigkeit, Lautstärke, Pausen und Hintergrundmusik anpassen. Für Überschriften, Eigennamen, Zahlen, englische Abkürzungen und mehrsilbige Wörter wird empfohlen, zunächst einen Probevortrag anzuhören und anschließend die Aussprache per Pausen- oder Einstellfunktionen Satz für Satz zu korrigieren.

Lange Texte können in Absätze unterteilt werden, um die Kosten für eine erneute Bearbeitung nach der Erstellung zu verringern.

Mehrfachstimmen-Synchronisation und Emotionsausdruck

Die Plattform ermöglicht es, für verschiedene Abschnitte unterschiedliche Sprecher zu festlegen – geeignet für Gespräche, Interviews, Geschichten und Lehrinhalte. Einige Stimmen unterstützen Stile oder Stimmungen wie Nachrichten, Kundenservice, freundlich oder ernst; die genauen Optionen hängen jedoch von der jeweiligen Stimme sowie den Rechten des Kontos ab.

Emotionssynthese kann den Kontext nicht vollständig verstehen; bei Ironie, Rhetorischen Fragen, Fachbegriffen oder starkem dramatischem Ausdruck ist weiterhin eine manuelle Überwachung erforderlich.

Klangreplikation

Die Nachahmung von Stimmen erfolgt durch das Aufnehmen oder Hochladen von geeigneten Sprachproben, um eine individuelle Stimme zu erstellen. Anschließend kann mithilfe von Texten eine ähnliche Stimme erzeugt werden. Je ruhiger die Aufnahmumgebung und je stabiler die Aussprache ist, desto natürlicher ist in der Regel das Ergebnis der Nachahmung.

Verschiedene Reproduktionspläne können sich in Bezug auf die Dauer der Datensätze, die Qualität der Trainingsdaten, die Verfügbarkeitsdauer, die Generierungsmenge sowie die kommerziellen Lizenzen unterscheiden. Vor dem Kauf sollten Sie die Angaben auf der aktuellen Seite prüfen.

Die Stimme gehört zu den sensiblen biometrischen Identifikationsdaten. Es ist nur erlaubt, die eigene Stimme oder eine Stimme mit ausdrücklicher Genehmigung nachzuahmen. Es ist nicht zulässig, sich als jemand anderes auszugeben, die Äußerungen berühmter Personen zu fälschen oder diese Daten zur Betrug, Belästigung oder Umgehung der Identitätsüberprüfung zu nutzen.

Wenn Unternehmen für Mitarbeiter, Dozenten oder Ansprechpartner eine spezielle Stimme anpassen, sollten sie den Umfang der Genehmigung, die Gültigkeitsdauer sowie die Mechanismen zur Rücknahme dieser Genehmigung festhalten.

Videos von Virtual- und Digital-Persönlichkeiten

Die Nutzer können die von der Plattform bereitgestellten virtuellen Moderatoren auswählen, Texte eingeben sowie Hintergrund, Bildverhältnis, Untertitel und Synchronisation einstellen, um digitale Video-Präsentationen zu erstellen. Diese Methode eignet sich für Wissensvermittlung, Produktpräsentationen, Werbung für Geschäfte, Schulungsmitteilungen sowie Nachrichtenbeiträge.

Die Schärfe, Haltung, Dauer sowie die Exportrechte unterschiedlicher Avatare können durch Paketbeschränkungen eingeschränkt sein. Custom-Avatare erfordern in der Regel eine separate Erstellung und Kostenschätzung.

Video-Synchronisation und Untertitel

In Workflows für Audio- und Videomaterial kann man über bestehenden Texten oder Bildern Untertitel erstellen, wodurch die Notwendigkeit von Live-Aufnahmen sowie wiederholtem Schnitt reduziert wird. Es können Abweichungen bei der automatischen Satzteilung, bei der Zeitsteuerung der Untertitel sowie bei der Übereinstimmung der Lippenbewegungen auftreten. Vor der Veröffentlichung sollten besonders kritische Inhalte wie Namen, Beträge, Daten, Einheiten, Arzneimittelnamen und juristische Begriffe überprüft werden.

Projekt- und Materialverwaltung

Die Online-Arbeitsplattform ermöglicht das Speichern von Dokumenten sowie Audio- und Videoprojekten, wodurch eine einfache Bearbeitung und erneute Exportierung möglich sind. Die Speicherdauer der Projekte, der verfügbare Cloud-Speicherplatz, die Anzahl der Exporte sowie die Rechte zur Teamzusammenarbeit richten sich nach den Einstellungen des aktuellen Kontos.

Wichtige Endprodukte sollten rechtzeitig auf lokalen Speicher oder in das Unternehmensspeichersystem heruntergeladen werden; Online-Projekte sollten nicht als einzige Sicherungskopie verwendet werden.

Vergleich von Xunfei ZhiZuo-Paketen und Abrechnungsversionen

Die Kaufmöglichkeiten für iFlytek Smart Creation zeigen je nach Aktion, Account-Typ, Produktmodul sowie individuellen Anforderungen unterschiedliche Optionen an. Einige Preise sind nur nach Anmeldung sichtbar. Die auf der öffentlichen Website angegebenen Preise für frühere Mitgliedschaften sollten nicht als aktuelle Verkaufspreise herangezogen werden. Im Folgenden werden die Preise im Vergleich zur tatsächlichen Kaufmethode dargestellt; Beträge, die nicht auf der offiziellen Seite überprüft werden können, werden nicht aufgeführt.

Bei der Auswahl eines Pakets sollte man vor allem die verfügbaren Klangfarben, die Anzahl der synthetisierten Zeichen, die Anzahl der Videominuten, die Auflösung bei der Exportierung, die Anzahl der gleichzeitigen Aufgaben, die Anzahl der anpassbaren Klangfarben, die kommerziellen Nutzungsmöglichkeiten sowie die Gültigkeitsdauer vergleichen – und nicht nur den Namen des Abonnements. Ebenso sollten vor der Zahlung überprüft werden, ob die Ressourcenpakete abgelaufen sind, ob noch nicht genutzte Mengen übertragen werden können, welche Bedingungen für Rückerstattungen gelten sowie welche Regeln bezüglich der Rechnungen mit Steuern gelten.

Vergleich verschiedener Kreativmethoden

Anleitung zur Verwendung der KI-Stimmen von iFlytek Smart Voice

1. Dokument bearbeiten:Entfernen Sie die Navigationsleiste der Webseite sowie unwichtige Symbole, ändern Sie lange Sätze in kurze Sätze um, die zum Vorlesen geeignet sind, und überprüfen Sie Fakten sowie Urheberrechte.
2. Neues Synchronisierungsprojekt erstellen:Melden Sie sich im Arbeitsbereich an, wählen Sie den Eintrag für Synchronisation oder Text-zu-Stimme und fügen Sie den Text ein.
3. Tonfarbe auswählen:Hören Sie sich anhand des Inhalts mehrere Sprecher an, urteilen Sie nicht nur anhand des Namen des Stimmklangs.
4. Einstellungen für die Ansage:Anpassung der Sprachgeschwindigkeit, Lautstärke, Pausen und mehrsilbiger Wörter; für Mehrpersoneninhalte werden für jeden Absatz Rollen festgelegt.
5. Teilweise Anhören:Es wird insbesondere auf Fehler durch falsche Pause durch Namen, Ortsnamen, Fremdsprachen, Zahlen, Einheiten und Satzzeichen geprüft.
6. Musik hinzufügen:Steuern Sie die Lautstärke der Hintergrundmusik und stellen Sie sicher, dass Musik, Effekte und Materialien über die entsprechenden Rechte für Veröffentlichung oder kommerzielle Nutzung verfügen.
7. Erstellen und exportieren:Nach Bestätigung des erwarteten Verbrauchs wird das Dokument erstellt, das gewünschte Audiodateiformat heruntergeladen und die endgültige Datei gespeichert.

Tutorial zur Erstellung von Videos mit virtuellen Personen

1. Erst sollte das Seitenverhältnis (Quer- oder Hochformat), die gewünschte Dauer sowie die Plattform für die Veröffentlichung festgelegt werden, anschließend wird der lockere Text verfasst.
2. Wählen Sie ein geeignetes virtuelles Avataar-Design und eine Stimmlage aus und überprüfen Sie, ob dieses Design im aktuellen Konzept enthalten ist.
3. Konfigurieren Sie Hintergrund, Titel, Untertitel, Bilder oder Markenelemente, um zu vermeiden, dass wichtige Informationen außerhalb des sicheren Bereichs liegen.
4. Erstellen Sie Vorschauen in kurzen Abschnitten, um Lippenbewegungen, Aussprache, Gesten und Untertitel zu überprüfen – erstellen Sie nicht gleich ein vollständiges langes Video.
5. Nach der Anpassung des Problemabschnitts wird ein Entwurf erstellt; bei Informationen zu Preisen, Richtlinien, Gesundheit und Finanzen wird dieser erneut manuell überprüft.
6. Nach der Exportierung kann man auf der Zielplattform die Bildqualität sowie die Untertitel ansehen und gemäß den geltenden Regeln angeben, ob es sich um von KI erzeugte Inhalte oder um Darstellungen von Digital-Persönlichkeiten handelt.

Unterschiede zwischen iFlytek Smart Creation und der iFlytek Open Platform API

Xunfei ZhiZuo ist eine Plattform zur Erstellung von visualisierter Inhalte, die es ermöglicht, nach manuellem Anmelden Werke zu erstellen und zu exportieren; die Xunfei Open Platform dient der Softwareentwicklung und erzeugt über Schlüssel und Schnittstellen automatisch Audio in Unternehmenssystemen.

Die im Webbrowser sichtbaren Namen der Klangfarben, die Mitgliedschaftslevel sowie die über die API verfügbaren Ressourcen sind nicht unbedingt identisch; interne Browseranfragen dürfen nicht als öffentliche Schnittstellen verwendet werden.

Entwickler sollten auf der offenen Plattform eigenständig Anwendungen erstellen, ein Sprachsyntheseprodukt auswählen, die aktuelle kostenlose Nutzungsmenge, die Limits bezüglich der gleichzeitigen Verarbeitung, die Audioformate sowie die Gebühren für die Übernutzung prüfen, bevor sie eine Integration auf der Serverseite vornehmen. Schlüssel sollten nur in der sicheren Konfiguration des Servers gespeichert werden – sie dürfen weder in die Frontend-Seiten, in die Client-Installationspakete noch in öffentliche Code-Repositories geschrieben werden.

Ob Open Source

Xunfei Zhizuo ist ein kommerzieller Online-Dienst. Die Produktplattform, die Kernsprachmodelle sowie das System zur Erstellung von digitalen Personen sind keine Open-Source-Projekte. Offizielle Beispielcodes oder SDKs dienen ausschließlich zum Anbinden an den offiziellen Dienst; sie stellen weder die Gewichte der Modelle noch die Trainingsdaten oder die gesamte Plattform in Open-Source-Form bereit. Zudem bedeutet das nicht, dass die Dienste offline und kostenlos genutzt werden können.

Für welche Benutzer geeignet

• Inhaltscreater, die Erklärungen, Voiceovers, Geschichten und wissensbasierte Audiomaterialien erstellen;
• Lehrkräfte und Einrichtungen, die Untertitel zu Lehrinhalten, Micro-Lektionen sowie Schulungsvideos benötigen;
• Unternehmen, die Informationen in Massen produzieren, Werbung für Geschäfte erstellen sowie Produkte vorstellen;
• Teams, die eine Markenstimme, virtuelle Mitarbeiter oder digitale Moderator:innen benötigen;
• Entwickler, die die Sprachsynthese über eine API in ihre Produkte integrieren möchten.

Vorteile und Einschränkungen bei der Verwendung

• Der Vorteil von iFlytek Smart Production liegt in der umfangreichen Erfahrung im Bereich der chinesischen Sprachverarbeitung. Zudem werden die Funktionen der Synchronisierung, der Nachahmung von Stimmen sowie die Erstellung von Videos mit digitalen Avataren in einem Online-Workflow integriert. So können auch Nicht-Profi-Anwender ohne Tonstudio und komplexe Bearbeitungssoftware schnell Ergebnisse erzielen.
• Bei regelmäßigen, wiederkehrenden und massenhaften Inhalten kann es die Aufnahmedauer erheblich verkürzen;
• KI-Stimmen können immer noch mehrdeutige Wörter, Fachbegriffe und Fremdsprachen falsch aussprechen, und bei der Nachahmung von Stimmen kann es zu unnatürlichem Tonfall oder Schwankungen in der Ähnlichkeit kommen.
• Die Mundbewegungen, Gesten und emotionalen Ausdrücke von digitalen Menschen können die Darbietung von echten Menschen nicht vollständig ersetzen.
• Die kostenlosen Mengen, der Tonumfang sowie die Regeln der Pakete können sich ändern. Für kommerzielle Projekte muss die aktuelle Genehmigung überprüft werden.
• Bei der Verarbeitung von persönlichen Stimmen, Porträts und sensiblen Daten muss eine Genehmigung eingeholt werden und Sicherheitsmaßnahmen getroffen werden.

Häufige Fragen

Ist iFlytek SmartWrite kostenlos?

In der Regel können einige Funktionen genutzt werden, doch die Anzahl der verwendbaren Zeichen, die Länge der Videos, die Tonqualität sowie die Möglichkeiten zur Exportierung können eingeschränkt sein. Für professionelle Nutzung kann man Mitgliedschaften, Ressourcepakete oder maßgeschneiderte Dienstleistungen erwerben. Der genaue Preis ergibt sich von der Kaufseite nach dem Anmelden.

Kann iFlytek SmartVoice seine eigene Stimme klonen?

Die Plattform bietet einen Service zur Nachbildung der Stimme an. Es sollte die eigene Stimme verwendet werden oder eine Aufnahme, für die eine klare Genehmigung vorliegt; außerdem muss die Aufnahme gemäß den Anforderungen auf der Seite aufgenommen und überprüft werden.

Es ist nicht gestattet, die Stimme eines anderen ohne Genehmigung nachzuahmen.

Kann die erzeugte Synchronisation und das Video für kommerzielle Zwecke verwendet werden?

Es müssen gleichzeitig die Anforderungen bezüglich des Account-Pakets, der Lautstärke oder des Designs sowie die Urheberrechtsanforderungen für die eingegebenen Materialien erfüllt werden. Eine Bezahlung löst nicht automatisch die Probleme bezüglich der Rechte an Texten, Bildern, Musik, Schriftarten, Porträts und Markenmaterialien. Vor einer kommerziellen Veröffentlichung sollten alle Aspekte einzeln überprüft werden.

Enthält das Xunfei ZhiZuo-Mitgliedschaft eine API?

Es kann nicht standardmäßig enthalten sein. Die Xunfei ZhiZuo-Web-Mitgliedschaft sowie die APIs der Xunfei Open Platform gehören zu unterschiedlichen Produktreihen. Entwickler müssen diese auf der Open Platform separat aktivieren und sich die aktuellen Preise sowie die Regeln für die Nutzung ansehen.

Warum lässt sich kein fester Mitgliedspreis finden

Die Pakete hängen von Aktionen, Kontoinformationen, Funktionsmodulen sowie individuellen Anforderungen ab. Einige Preise werden erst nach dem Anmelden angezeigt. Die in früheren Artikeln genannten Beträge können bereits veraltet sein; daher sollten die Angaben auf der aktuellen Kaufseite oder in den offiziellen Preislisten herangezogen werden.