Baidu Xiling

Was ist Baidu Xiling?

Baidu Xiling ist eine von Baidu Smart Cloud eingeführte Plattform für digitale Avatare, digitale Mitarbeiter sowie die Erstellung von Marketinginhalten. Sie umfasst Funktionen wie Video-Produktion mit digitalen Avataren, Live-Übertragungen, Echtzeitkommunikation, Antworten auf Fragen zu Unternehmenswissen, Anpassung des Erscheinungsbilds, Stimmenklonierung sowie Entwicklerkomponenten. Neben einer Arbeitsumgebung, die auch von normalen Nutzern bedient werden kann, bietet sie außerdem API’s, SDK’s und MCPs zur Integration in Unternehmen.

Xi Ling ist kein einzelner „Digitales-Population-Generierer“. Das aktuelle Produkt besteht aus einer Plattform für die Erstellung von Marketinginhalten und einer offenen Plattform für digitale Mitarbeiter. Die erste Plattform konzentriert sich auf Inhalte und die Organisation von Livestreams, während die zweite Plattform Wert auf das Zusammenspiel von Bildern, Videos, Interaktionen sowie Livestream-Funktionen legt.

Öffentliche Porträts und Klangfarben

Die offiziellen Produktdokumentationen geben an, dass derzeit mehr als 800 öffentliche Porträts sowie mehr als 150 öffentliche Klangfarben zur Verfügung stehen, die in Videos, Live-Übertragungen und Chat-Anwendungen verwendet werden können. Die für verschiedene Avatare geeigneten Komponenten, Bildformate und Lizenzbedingungen können unterschiedlich sein.

Öffentliche Verfügbarkeit bedeutet nicht, dass alle kommerziellen Nutzungsmöglichkeiten dauerhaft kostenlos sind. Vor dem Kauf sollten Laufzeit, Medien, Region, Marke sowie Beschränkungen für sensible Branchen überprüft werden.

Digitale Menschen in Fotos

Digitale Personen aus Fotos können schnell aus einem einzelnen Bild einer Person eine 2D-Darstellung erzeugen, die für Videos mit digitalen Personen oder für interaktive Darstellungen verwendet werden kann. Der Preis für die grundlegenden Anpassungsdienste beträgt derzeit 20 Yuan pro Anfrage; Pakete für mehrere Anfragen werden linear nach der Anzahl der Anfragen berechnet.

Die Bewegungen und Perspektivwechsel in einem einzelnen Foto sind begrenzt; die Eingabe sollte ein klares Frontbild sein, und es muss eine Genehmigung für die Verwendung des Porträts vorliegen.

2D-Digital-Persönlichkeiten mit kleinem Datensatz

2D-Digital-Persönlichkeiten mit kleinem Datensatz werden durch das Aufnehmen von Videos echter Personen trainiert. Für die Erstellung der Lippenbewegungen sind in der Regel 1 bis 4 Minuten an Videoaufnahmen mit geschlossen Mund erforderlich; der aktuelle Preis beträgt 1000 Yuan pro Anfrage.

Für eine individuelle Lippenbewegung sind in der Regel 4 bis 8 Minuten Sprechen erforderlich; derzeit kostet es 2000 Yuan pro Sitzung.

Licht, Kleidung, Bewegungen und Hintergrund beeinflussen das Endergebnis. Das Trainingsbild kann für Video-, Interaktions- und Live-Streaming-Komponenten verwendet werden, wobei für jede Komponente ein entsprechender Service erworben werden muss.

Generative digitale Menschen

Die Basisversion zur Erstellung von Inhalten kann bereits mit dem Hochladen eines Porträtfotos trainiert werden; laut Angaben dauert die Verarbeitung etwa 40 Minuten. Der Preis beträgt derzeit 20 Yuan pro Nutzung, und sie wird hauptsächlich für Videokomponenten verwendet. Die Premiumversion bietet natürlichere Bewegungen und Interaktionsmöglichkeiten sowie Unterstützung für Videos und Interaktionen; der Preis liegt derzeit bei 2000 Yuan pro Nutzung.

Die Basisversion eignet sich nicht für Echtzeitinteraktionen, bei denen ein natürlicher Wechsel zwischen Aufnahmemodus und Übertragungsmodus erforderlich ist. Vor der Auswahl sollte man sich zunächst Beispiele ansehen.

3D-Digitalpersonen

Xi Ling bietet Text-basierte 3D-Generierung, 3D-Cartoons sowie Anpassungen von Unternehmensmodellen an. 3D-Digital-Persönlichkeiten können in Videos und interaktiven Anwendungen verwendet werden und unterstützen verschiedene Formate – sowohl in Quer- als auch in Hochformat, sowie in Halb- und Vollkörperansichten.

Die Express-Version der 3D-Anpassung kostet derzeit 60.000 Yuan pro Porträt. Wenn das Unternehmen die Originalzeichnungen oder Modelle bereitstellt, müssen diese noch angepasst werden – der Prozess kann mehrere Wochen in Anspruch nehmen.

2D-Hyperrealismus und Endgeräte-Rendering

2D-Hyperrealistische digitale Avatare werden durch statische und bewegte Videodaten trainiert und dienen der Interaktion in der Cloud-Rendering-Umgebung; 2D-endgerätebasierte digitale Avatare laufen hingegen auf Endgeräten und eignen sich für große Bildschirme, Apps sowie bestimmte Offline-Szenarien oder Szenarien mit geringer Verzögerung.

Endgeräte-Rendering erfordert ein SDK, eine Lizenz, Gerätekompatibilität sowie TTS-Ressourcen – man kann nicht einfach nur ein Icon kaufen und sofort online gehen.

123-Digital-Person-Videos

123 Digital Human ist eines der Video-Generierungswerkzeuge von Xiling. Es ermöglicht die Erstellung digitaler Sprecher durch die Kombination von Bild, Stimme und Text und bietet eine offizielle API. Es eignet sich für Massenproduktion von Nachrichten, Lehrinhalten und Marketingmaterialien.

Für Batch-Aufgaben müssen asynchrone Zustände, Callbacks, Wiederholungsversuche bei Fehlern sowie das Herunterladen der Ergebnisse bereitgestellt werden. Auch die Ausgabeskripte müssen hinsichtlich Fakten und Konformität überprüft werden.

Video-Produktions-Workbench

Die Plattform für Marketinginhalte listet derzeit verschiedene Erstellungsmöglichkeiten auf, darunter Bild- zu Videovertonung, Videoübersetzung, Inspiration in Video umwandeln, zusammengestellte Videos, AI-Werbung, PPT-Erstellung, AI-Businesskarten sowie Viral-Videos.

Arbeitstische senken die Hürden für das Schnittwerk, doch von KI erzeugte Produkte, Untertitel, Preise und Charakterbewegungen können fehlerhaft sein; vor der offiziellen Veröffentlichung ist daher eine manuelle Überprüfung erforderlich.

Produktbilder und AI-Werbung

Mit Produktbild-Videos können statische Produktmaterialien in Werbevideos umgewandelt werden. KI-gestützte Werbung erzeugt hingegen schnell Inhalte auf der Grundlage von Verkaufsargumenten, Drehbüchern und virtuellen Personen – was sich besonders für E-Commerce-Unternehmen sowie den Betrieb von Filialen eignet.

Das Modell kann die Verpackungstexte sowie die Produktdetails ändern. Die Wirksamkeit der Werbung, die Preise, der Lagerbestand sowie die Gültigkeitsdauer von Angeboten müssen den tatsächlichen Geschäftsbedingungen entsprechen.

Video-Übersetzung

Xi Ling bietet eine Video-Übersetzungsschnittstelle an, die Sprache, Untertitel, Synchronisation in der Zielsprache sowie die Lippenbewegungen der Sprecher verarbeiten kann – ideal für grenzüberschreitenden Marketing und Training.

Fachbegriffe, kulturelle Ausdrucksweisen und Haftungsausschlüsse benötigen die Überprüfung durch einen Muttersprachler, und für das Klonen von Stimmen muss eine Genehmigung vorliegen.

Live-Übertragung von Digitalköpfen

Die Live-Streaming-Komponente ermöglicht es, 2D-Digital-Persönlichkeiten mit kleinen Datensätzen dazu zu bringen, kontinuierlich Inhalte zu übertragen – und zwar in Kombination mit intelligenten Sprachformaten, Interaktionen durch Kommentare sowie einer ansprechenden Gestaltung des Livestreams. Die Marketingplattform unterstützt außerdem die Anbindung an Plattformen wie Meituan, Taobao und JD.com sowie die Auswertung von Live-Streaming-Daten.

Auch bei unüberwachten Livestreams müssen die Regeln der Plattform sowie die Anforderungen an künstlich erzeugte Inhalte eingehalten werden. Für Produkte und interaktive Antworten muss eine menschliche Kontrolle vorhanden sein.

Echtzeit-Dialog-Digitalpersonen

Interaktive Komponenten vereinen Spracherkennung, große Modelle, Wissensdatenbanken, Sprachsynthese sowie die Darstellung von Digitalen Avataren zu Echtzeit-Dialogen. Die Benutzer können intelligente digitale Avatare konfigurieren, die über Wissen, Fähigkeiten und eine Persönlichkeit verfügen.

Echtzeitanwendungen müssen Verzögerungen, Unterbrechungen, sensible Probleme, Illusionen und Netzwerkstörungen bewältigen. In hochriskanten Bereichen wie der Medizin oder der Finanzwirtschaft muss auf menschliche Intervention zurückgegriffen werden.

Wissensdatenbanken und Agenten

Die Plattform ermöglicht das Hochladen von Dokumenten zur Erstellung einer eigenen Wissensdatenbank, sodass digitale Assistenten auf Grundlage allgemeiner Kenntnisse sowie branchenspezifischer und unternehmensbezogener Informationen Fragen beantworten können. Sie eignet sich für Unternehmensausstellungen, Kundenservice, Schulungen und Führungen.

Die Wissensdatenbank benötigt Versionsaktualisierungen, Berechtigungen sowie Überprüfungen der Referenzen. Die Antworten großer Modelle können keine offiziellen Richtlinien oder Verträge ersetzen.

Klangklonierung

Die LITE-Version der Stimmenklonierung kostet derzeit 10 Yuan pro Nutzung, die Standardversion der Stimmenklonierung 200 Yuan pro Nutzung. Beide Versionen bieten Servicepakete mit 10 bzw. 100 Nutzungen an. Die trainierten TTS-Systeme können in Videos mit digitalen Personen, interaktiven Elementen sowie Live-Übertragungen verwendet werden.

Vor der Klonierung muss die ausdrückliche Zustimmung des Sprechers eingeholt werden, und es müssen die Vereinbarungen bezüglich der Klonierung eingehalten werden. Es ist nicht zulässig, sich als berechtigt auszugeben oder Genehmigungen zu fälschen.

Sprachsynthese und SSML

Die Plattform bietet eine Sprachsynthesee-API sowie SSML-Kontrollfunktionen, mit denen digitale Avatare über Text gesteuert werden können, wobei Pausen, Sprachgeschwindigkeit und Aussprache angepasst werden können. Die Interaktion bei Clientseitiger Darstellung erfordert in der Regel Zeichensequenzen sowie Konkurrenzverarbeitung.

Der aktuelle TTS-Charakterpaket kostet 100 Yuan für 100.000 Zeichen und 1.000 Yuan für 1 Million Zeichen; die Gültigkeit beträgt ein Jahr. Eine Erweiterung der gleichzeitigen Verarbeitungskapazität kostet 40 Yuan pro Monat oder 400 Yuan pro Jahr.

Video-Generierungs-Zeitpaket

Die Video-Komponenten der offenen Plattform werden nach der Dauer der Erstellung abgerechnet, wobei die Gültigkeitsdauer in der Regel ein Jahr beträgt. Für digitale Personen mit Fotos kostet es 45 Yuan pro 10 Minuten; für 2D-Modelle sowie 123-Digitalpersonen beträgt die Kosten 30 Yuan pro 10 Minuten. Für hochwertige 2D-Modelle sind 40 Yuan fällig, während für 3D-Digitalpersonen 50 Yuan anfallen.

100 Minuten und 1000 Minuten werden zu dem gleichen Preis berechnet. Der gemeinsame Ressourcepool bietet keine dedizierten parallelen Verarbeitungen; die Geschwindigkeit in Spitzenzeiten hängt von den gemeinsam genutzten Ressourcen ab.

Video-exklusiver Konkurrenzmodus

Für digitale Avatare mit Fotoaufnahmen beträgt die monatliche Gebühr derzeit 4500 Yuan oder 45.000 Yuan pro Jahr; für 2D-Beispiele, 2D-Kunstwerke sowie 3D- und 123-Digitalavatare liegt die Gebühr in der Regel bei 2000 Yuan pro Monat oder 20.000 Yuan pro Jahr.

Bei der Videoabrechnung kann man entweder nur Pakete für die Anzahl der Minuten kaufen oder Pakete, die sowohl die Anzahl der Minuten als auch die Anzahl der gleichzeitigen Verbindungen umfassen. Für kleinere Aufgaben kann zunächst der öffentliche Pool genutzt werden.

Preis- und Versionsvergleich

Interaktive Preise für Cloud-Rendering

Interaktive 2D-Cloud-Rendering-Dienste kosten derzeit 800 Yuan pro 7 Tage, 2400 Yuan pro Monat und 24.000 Yuan pro Jahr; für 3D-Darstellungen sind es 1200 Yuan pro 7 Tage, 3600 Yuan pro Monat und 36.000 Yuan pro Jahr.

Interaktive Anwendungen benötigen außerdem Ressourcen wie Bilder, Sprache, große Modelle und das Internet; die Gesamtkosten dürfen nicht nur nach dem Preis pro Konkurrenzanfrage beurteilt werden.

Preis für das End-Rendering-SDK

Die Lizenz für die Renderung von Fotodigital-Persönlichkeiten im H5-Format kostet derzeit 10.000 Yuan pro Monat oder 100.000 Yuan pro Jahr. Für die 2D-Renderung werden eine Geräteleizenz für 3.600 Yuan pro Stück sowie eine Anwendungslicenz für 36.000 Yuan pro Stück angeboten.

Die Anwendungsautorisierung gilt nur für begrenzte Geräte unter einem einzigen System, sei es Android oder iOS.

Die 3D-Endgeräterechnung erfolgt nach der Anzahl der gleichzeitigen Nutzer. Der aktuelle Preis beträgt 120 Yuan pro 7 Tage, 360 Yuan pro Monat und 3600 Yuan pro Jahr. Die genauen Anforderungen sowie die Grenzen bezüglich der Geräte sind im Vertrag festgelegt.

Preise für Live-Streaming-Komponenten

Die API für Live-Übertragungen von 2D-Digital-Persönlichkeiten mit kleinen Datensätzen kostet derzeit 700 Yuan für 7 Tage, 2000 Yuan im Monat oder 20.000 Yuan im Jahr. Zudem steht eine Standard-Bildbibliothek für eine begrenzte Zeit zur Verfügung.

Für Live-Übertragungen sind außerdem Image-Training, Inhalt, Stimme sowie Streaming-Ressourcen erforderlich; der Einzelkauf von Komponenten für die Live-Übertragung stellt kein vollständiges Konzept dar.

Warum sollte man zusammen kaufen?

Die offizielle Preisliste macht klar, dass der Einzelkauf von Avataren, Sprachausgaben oder interaktiven Funktionen in der Regel nicht direkt zu einer fertigen Anwendung führt. Avatare klären, „wer erscheint“, die Dauer oder die gleichzeitige Ausführung bestimmen, „wie etwas erstellt wird“, während TTS-Systeme und große Modelle dafür sorgen, „was gesagt wird und wie darauf reagiert wird“.

Vor dem Einkauf sollte die gesamte Logikstruktur skizziert werden, und die Komponenten sollten anhand von Videos, Live-Übertragungen oder interaktiven Szenarien ausgewählt werden.

API und SDK

Die Xi Ling-Dokumente bieten Datei-Upload, Anpassung von Designs, Stimmenklonierung, Video-Synthese, Bild-zu-Video-Konvertierung, Videoübersetzung, Montage, Cloud-Rendering, Session-Management, Streaming sowie SDKs für verschiedene Geräte.

Die Produktverbindung muss Authentifizierung schützen, Rückrufe zur Überprüfung abwickeln, die Konkurrenz gleichzeitig durchgeführter Aufgaben begrenzen, die Ergebnisse der Aufgaben speichern und Lizenzaktualisierungen verarbeiten.

Digitale Person MCP

Die offene Plattform ist mit MCP kompatibel, wodurch große Modelle, die MCP unterstützen, Materialien hochladen, digitale Avatare erstellen, Stimmen synthetisieren und Aufgaben abfragen können, um dabei die Fähigkeiten von Xiling zu nutzen.

Die Verwendung von MCP erfordert weiterhin ein Konto auf der Plattform, Berechtigungen sowie ein Cloning-Protokoll – es handelt sich dabei nicht um eine kostenlose oder lokale Nutzung.

Ist es Open Source?

Die Xi Ling-Plattform, die Digital-Personen-Modelle, die Rendering-Dienste sowie die SDKs sind kommerzielle Produkte mit geschlossener Quellcode-Struktur. Es liegen keine offiziell veröffentlichten, vollständigen Quellcodes oder Modellgewichte vor.

Die Unterstützung von Drittanbieter-Projekten für digitale Avatare, die Baidu Xiling nutzen können, auf GitHub bedeutet nicht, dass Xiling selbst open source ist.

Anleitung zur Verwendung von Baidu Xiling

Eine grundlegende Aufgabe erledigen

1. Bestimmen Sie das Publikum, die Plattform, das Format, die Dauer sowie die Informationen, die übermittelt werden müssen;
2. In Baidu Xiling Skripte, Aufnahmen oder lizenzierbares Referenzmaterial vorbereiten;
3. Wählen Sie ein öffentliches Porträt und einen Klangton aus, um eine preisgünstige Vorschau zu erstellen;
4. Verwenden Sie digitale Avatare mit Fotos, um Bild, Rhythmus, Untertitel und Ton anzupassen;
5. Jedes Frame wird auf Personen, Texte, Logos, Mundbewegungen und die Richtigkeit der Fakten überprüft;
6. Nach der Bestätigung der Lizenzen für Musik, Porträts und Materialien wird die Datei in der gewünschten Formatierung exportiert;

Erstellung wiederverwendbarer professioneller Workflows

1. Erstellung von Skripten, Drehbüchern, Markenmaterialien und einer Liste der zu verbietenden Elemente;
2. Einheitliche Parameter für öffentliche Porträts und Klangfarben, digitale Menschen in Form von Fotos sowie digitale Menschen in 2D-Formaten speichern.
3. Zuerst werden das Modell und die Obergrenze mit repräsentativen Aufnahmen getestet;
4. Fehlerhafte Aufnahmen in eine manuelle Bearbeitung überführen oder neu erstellen;
5. Einheitliche Untertitel, Lautstärke, Farben und Abspann-Copyright-Informationen;
6. Erst nach Erfassung der Version und des Prüfers in Batch veröffentlichen;

Für welche Nutzer geeignet?

• Team zur Erstellung von Serien an digitalen Vorträgen und Kursen;
• Unternehmen, die Live-Verkäufe im E-Commerce sowie Marketing-Videos erstellen;
• Einrichtungen zur Schaffung von Ausstellungsräumen, Kundenservice, Führungen sowie zur Ausbildung digitaler Mitarbeiter;
• Entwickler, die ein 2D-, 3D- oder Gebärdensprach-Digital-Person-SDK benötigen;
• Plattformen, die eine Stimmenklonierung sowie API- und MCP-Integration benötigen.

Vorteile des Produkts

• Videos, Live-Übertragungen, Interaktionen und Agentenszenarien sind vollständig vorhanden;
• Es gibt reiche Ressourcen an öffentlichen Porträts und Klangfarben;
• Fotos, 2D-, 3D- und Endgeräterenderungen in vielfältigen Formen;
• Die offizielle Preisliste ist nach Dauer, Konkurrenz und Lizenz aufgeteilt;
• Bietet API, SDK und MCP an;
• Es ist möglich, Baidu Cloud mit den Fähigkeiten großer Modelle zu kombinieren.

Einschränkungen und Hinweise

• Es gibt viele Produktkomponenten, die Beschaffungskombination ist komplex;
• Bilder, Generierungszeit, Konkurrenzfähigkeit, Interaktionslizenzen, TTS, große Modelle sowie Cloud-Ressourcen können separat abgerechnet werden;
• Digitale Menschen, Stimmen und Marketinginhalte beinhalten Aspekte wie Porträts, Stimmen, Urheberrechte sowie Werbevorschriften.
• Alle AI-Ausgaben müssen manuell überprüft werden;

Häufige Fragen

Ist Baidu Xiling kostenlos?

Mit einem Login können Sie einige Erlebnisvorteile erhalten. Wenn der kostenlose Umsatzrahmen aufgebraucht ist, muss man in dem Komponenten-Shop kaufen. Für die offizielle Nutzung durch Unternehmen wird nach Anzahl der Komponenten abgerechnet.

Wie viel kostet eine digitale Person in Form von Foto?

Die Anpassung von Fotos kostet derzeit 20 Yuan pro Auftrag, die Erstellung eines Videos dauert 10 Minuten und kostet 45 Yuan; für interaktive Anwendungen sind zudem Komponenten wie SDK und TTS erforderlich.

Wie viel kostet die Klonierung einer Stimme?

Die LITE-Version kostet derzeit 10 Yuan pro Nutzung, die Standard-Version 200 Yuan pro Nutzung. Beide Versionen lassen sich auch als Pakete zum Mengeneinkauf erwerben.

Kann man Live-Übertragungen mit digitalen Menschen durchführen?

Ja, die 2D-Live-Streaming-API für kleine Stichproben bietet derzeit eine Konnektivität von etwa 2000 Yuan pro Monat; außerdem sind Ressourcen wie ein Profilbild und Inhalte erforderlich.

Hat Baidu Xiling eine API?

Es gibt eine vollständige API, H5 sowie SDKs für mobile Geräte, außerdem wird MCP unterstützt – mit Funktionen für Video, Interaktion, Live-Übertragungen und Anpassungen.

Ist Baidu Xiling Open Source?

Keine Offenlegung des Quellcodes. Der Quellcode der Kernplattform, der Modelle sowie der Renderdienste wird nicht vollständig veröffentlicht.