Tausend Gesichter – Video-Tracking

Was ist Video-Motion-Capture mit tausend Gesichtern?

Chianmian Video Motion Capture ist ein markenloses AI-Bewegungserfassungstool von Chianmian Zhiyu, das auch oft einfach als Chianmian Motion Capture bezeichnet wird.

Es erkennt aus gewöhnlichen Videos Körperbewegungen und erzeugt anschließend Bewegungsdaten, die für 3D-Animationssoftware verwendet werden können.

Kernfunktionen

Fähigkeit zur Video-Action-Capture

Die Plattform unterstützt Materialien mit festen und beweglichen Kameras und kann Videos mit 24, 30, 60 und 120 Frames pro Sekunde verarbeiten.

• Ganzkörper-Aufnahme: Geeignet für Tanz, Aufführungen, Spielcharaktere und Bewegungen von Virtual Humans.
• Halbporträt: Für Voiceovers, Live-Übertragungen oder Projekte, bei denen nur die Armbewegungen benötigt werden.
• Handerkennung: Extrahierung von Fingerbewegungen und Gesten, um die Details der Bewegungen zu verbessern.
• Gesichtserkennung: Wiederherstellung von Gesichtsausdrucksveränderungen zur Unterstützung bei der Gestaltung von Charakterdarstellungen.
• Mehrere Personen erfassen: Es ist möglich, Materialien mit mehreren Personen zu verarbeiten, doch bei komplexen Verdeckungen muss die Qualität zunächst überprüft werden.

Exportformat kompatibel mit der Software

FaceSync kann mit gängigen 3D-, Spiel-Engines und Charakteranimationswerkflüssen verbunden werden.

• Allgemeine Formate: FBX, BVH, BIP, VMD und C4D.
• Spiele-Engine: Unreal, Unity Anim und Roblox.
• Charakter-Pipeline: Mixamo, CC&iClone und Onlyface.
• Videos mit digitalen Personen: Die entsprechenden Funktionen werden in MP4-Format ausgegeben.

Die kostenlose Version bietet nur FBX an; für andere Formate sowie eine kommerzielle Lizenz ist ein kostenpflichtiges Paket erforderlich.

Anleitung zur Verwendung von Motion-Capture für Videospiele mit tausend Gesichtern

1. Registrieren und sich bei Qianmian Zhiyu anmelden, um zunächst das für das Projekt erforderliche Exportformat sowie die notwendigen Berechtigungen zu überprüfen.
2. Erstellen Sie Videos mit vollständigen Charakteren, stabilem Licht und wenig Verdeckung, und reduzieren Sie die Kamerabewegungen so weit wie möglich.
3. Laden Sie die Materialien hoch und wählen Sie die Bearbeitungsart für den ganzen Körper, die Oberkörper, die Hände, das Gesicht oder mehrere Personen aus.
4. Stellen Sie die Haltung der ersten Frame ein, den Standby- oder Bewegungsmodus sowie die tatsächliche Framerate des Materials.
5. Erstelle zunächst eine Vorschau mit einem Kurzfilm, um Rutschen der Füße, Durchdringen des Modells, Zittern sowie die Richtung der Gelenke zu überprüfen.
6. Bei Bedarf werden 2D-Reparaturen vorgenommen oder die Materialien neu zugeschnitten, bevor die vollständige Aufgabe eingereicht wird.
7. Laden Sie das Zielformat herunter und führen Sie die Umleitung in Blender, Maya, Unreal oder Unity durch.
8. Vor der Übergabe des Projekts sollten die kommerziellen Nutzungsrechte überprüft werden, und die ursprünglichen Videodateien, Action-Dateien sowie die Projektdateien sollten gesichert werden.

Empfehlungen zur Vorbereitung der Materialien

• Die Personen sollten möglichst vollständig im Bild zu sehen sein; Arme und Beine dürfen nicht zu lange außerhalb des Bildes liegen.
• Die Kleidung sollte einen gewissen Farbunterschied zum Hintergrund aufweisen, um zu vermeiden, dass die Konturen schwer zu erkennen sind.
• Verminderung der Überschneidungen zwischen den Figuren, schneller Verdeckungseffekt sowie starker Bewegungsunschärfe.
• Laden Sie zunächst einen 10- bis 20-sekündigen Testclip hoch, um zu entscheiden, ob mit längeren Materialien gearbeitet werden soll.
• Eine hohe Framerate ändert die verarbeitbare Dauer und den Ressourcenverbrauch – dies sollte im Voraus überprüft werden.

Preis für eine individuelle Abonnementierung

Im Folgenden sind die individuellen Angebote aus der Preisliste auf der offiziellen Website vom 30. August 2026 aufgeführt; die jährliche Zahlung wird in einen monatlichen Preis umgerechnet dargestellt.

Die Pay-Version beinhaltet eine kommerzielle Lizenz sowie mehr Exportformate, während die Anzahl der Teamplätze in der Studio-Version von der tatsächlichen Verfügbarkeit des Produkts abhängt.

Preise, Steuern, Rabatte und Vorteile können sich ändern; die endgültigen Bedingungen gelten auf der Kaufseite, auf der Zahlungsseite oder im Vertrag.

Limit- und Vermögenshalteregeln

• Die monatliche Grenze gilt für bereits verfügbare Funktionen wie Motion-Capture, Text-Motion-Capture und Digitale Avatare.
• Bei der jährlichen Zahlungsvariante wird einmalig gezahlt, doch der Betrag wird weiterhin monatlich ausgezahlt. Der nicht genutzte Betrag wird nicht automatisch übertragen.
• Verschiedene Modelle, Dauer, Bildrate, Anzahl der Personen sowie Verarbeitungsmethoden können unterschiedliche Ressourcenverbrauche verursachen.
• Die Assets bleiben während der Gültigkeit der kostenpflichtigen Mitgliedschaft erhalten; nach dem Umstieg auf die kostenlose Version bleiben sie 15 Tage lang bestehen.
• Nach 15 Tagen tritt die 7-tägige Löschphase ein, danach können die Dateien nicht mehr restauriert werden.
• Wichtige Materialien und Aktionendaten sollten vor Ablauf des Zeitraums heruntergeladen und eine lokale Kopie angelegt werden.

API-Paketpreise

Die API dient der Produktintegration, Anrufen vom Server aus, der Ausführung von Batch-Aufgaben sowie hohen Konkurrenzanforderungen und wird getrennt von persönlichen Abonnements verkauft.

Die Version für persönliche Webseiten beinhaltet keine Rechte für API-Aufrufe; zur Anbindung des Programms muss ein separates API-Paket erworben werden.

Nach Ablauf der API-Lizenzfrist wird sie weder verlängert noch übertragen und kann auch nicht in eine persönliche Abonnement-Lizenz umgewandelt werden.

API und Open-Source-Status

• API: Die offizielle Website bietet eigene Pakete an, die sich für die Integration in Plattformen, Studios und Unternehmen eignen.
• API-Schlüssel: Er sollte auf der Serverseite gespeichert werden und nicht in die Frontend-Seiten oder offene Codebibliotheken geschrieben werden.
• SDK: Zum Zeitpunkt der Überprüfung wurde kein offizieller, öffentlich zugänglicher SDK-Repository gefunden.
• Open Source: Es wurden weder der vollständige Quellcode der Plattform noch die Gewichte der Motion-Capture-Modelle sowie keine offizielle Open-Source-Lizenz gefunden.

Das Bereitstellen einer API bedeutet nicht, dass das Produkt open source ist, und es garantiert auch nicht, dass eine individuelle Abonnementgebühr automatisch Zugriffsrechte auf die Schnittstelle verschafft.

Für welche Benutzer geeignet

• Unabhängiger Animator: Schnelle Erstellung eines ersten Entwurfs für die Bewegungen der Charaktere anhand von Live-Aufnahmen.
• Spieledesigner: Erstellen von Prototypen für Bewegungen und Importieren in Unity oder Unreal.
• MMD und Kreativer von Virtual Idols: Erstellung von Formaten wie VMD.
• Digitale Menschenteam: Bearbeitung von Bewegungsimitationen, Rollenwechseln und Sprachaufnahmen.
• Film- und Videoteam: Senkung der Hürden für Action-Prüfungen und Massenproduktion.
• Entwickler und Unternehmen: Aufbau automatisierter Motion-Capture-Prozesse über eigenständige APIs.

Vorteile und Einschränkungen bei der Verwendung

Hauptvorteile

• Es sind weder Motion-Capture-Kleidung, Markierungspunkte noch professionelle Studios erforderlich – normale Kamerabilder reichen aus.
• Erfüllt verschiedene Anforderungen bei der Erfassung von Körpern, Händen, Gesichtern sowie mehreren Personen.
• Es gibt viele Exportformate, die eine Verbindung mit gängigen 3D-Software-Programmen und Spielenginen ermöglichen.
• Gleichzeitig werden eine persönliche Webseite sowie eine eigenständige API-Lösung angeboten.

Achtung ist geboten

• Verdeckungen, Unschärfe, Bildausschnitte außerhalb des Bildrahmens sowie starke Bewegungen der Kamera verringern die Qualität der Darstellung.
• Bei automatischen Ergebnissen können weiterhin Rutschungen, Zittern, Durchdringung des Modells oder Abweichungen in der Richtung der Knochen auftreten.
• Die kostenlose Version hat begrenzte Laufzeiten der Videos, eine begrenzte Dateigröße, eingeschränkte Exportformate und eine begrenzte Aufbewahrungsfrist.
• Bevor man Videos mit echten Personen hochlädt, muss eine Genehmigung für die Verwendung des Porträts, der Darbietung sowie der Materialien eingeholt werden.
• Bei der Erstellung von Aktionen muss weiterhin auf Umleitungen und Kollisionen im Skelett der Zielfigur geprüft werden.

Häufige Fragen

Braucht man für die Video-Animation mit tausend Gesichtern Aktionssensorausrüstung?

Das ist nicht notwendig – man kann normale Videos verwenden. Allerdings beeinflussen die Auflösung, die Verdeckungen sowie die Aufnahmewinkel das Ergebnis.

Welche Bewegungen werden von der Face-Tracking-Technologie in Videos unterstützt?

Auf der offiziellen Website werden derzeit Vollkörper-, Halbkörper-, Hand- und Gesichtsaufnahmen sowie Videoaufnahmen für Einzelpersonen und mehrere Personen aufgeführt.

In welchen Formaten kann die kostenlose Version exportiert werden?

Die kostenlose Version exportiert derzeit nur FBX; weitere Formate sowie eine kommerzielle Lizenz sind im kostenpflichtigen Paket enthalten.

Wie viel kostet das Einzelpaket?

Kostenlose Version: 0 Yuan. Monatliche Abonnementversion: 99 Yuan, Standardversion: 359 Yuan, Profi-Version: 1299 Yuan, Studio-Version: 3299 Yuan.

Enthält die Webstudio-Version eine API?

Nicht enthalten. Für die API-Aufrufe muss ein separates API-Paket erworben werden oder eine individuelle Anpassung für Unternehmen vereinbart werden.

Kann die erzeugte Aktion kommerziell genutzt werden?

Die kostenpflichtigen Optionen sind für kommerzielle Zwecke geeignet, doch die Nutzer müssen weiterhin sicherstellen, dass die ursprünglichen Videos sowie die Materialien mit Personen und Charakteren eine legale Lizenz haben.

Ist FaceRig ein Open-Source-Tool?

Zum Zeitpunkt der Überprüfung wurden weder der vollständige Quellcode der Plattform noch die Modellgewichte sowie kein verifizierbares offizielles Open-Source-Repositorium gefunden.