Hand Tracking with Only Webcam

Was ist Webcam Motion Capture?

Webcam Motion Capture ist eine von KWCL Inc. entwickelte AI-basierte Software zur Bewegungserfassung mit Kameras. Sie ermöglicht es, mithilfe der Kamera eines Computers oder eines Smartphones 3D-Virtuallisten im VRM-Format zu erstellen.

Es konzentriert sich auf die Erfassung der Hand und der Finger, umfasst gleichzeitig Kopf, Gesichtsausdrücke, Blickrichtung, Augenzwinkern, Mundbewegungen, die obere Körperhälfte sowie Bewegungen des gesamten Körpers. Es eignet sich für virtuelle Live-Übertragungen, Videoaufnahmen und die Erstellung einfacher Charakteranimationen.

Hauptfunktionen

1. Hand- und Fingertracking

Die Software kann Bewegungen der Arme, Handflächen und Finger ohne spezielle Handschuhe oder Tracker erkennen. Ein heller Hintergrund sowie vollständig sichtbare Ellbogen und Unterarme tragen in der Regel dazu bei, stabilere Ergebnisse zu erzielen.

2. Gesichts- und Körperfotografie

Das System unterstützt die Erfassung von Kopfbewegungen, Gesichtsausdrücken, Blickrichtung der Augen, Blinzeln, Mundbewegungen, der Oberkörper sowie des gesamten Körpers. Zudem können automatische Gesichtsausdrücke sowie benutzerdefinierte BlendShapes konfiguriert werden.

Eine Kamera mit nur einer Linse ist durch Verdeckungen und Einschränkungen bei der Tiefenbestimmung beeinträchtigt; bei schnellen Drehungen, verschränkten Händen oder wenn die Beine außerhalb des Bildausschnitts sind, kann es zu Unruhen im Bild kommen.

3. VRM-Virtuelle Figur

Benutzer können ihre eigenen VRM-Modelle importieren. Der Webcam Motion Receiver nimmt die Tracking-Daten entgegen und rendernt die Charaktere. Wenn das Modell keine standardmäßigen Knochenstrukturen für den Körper oder die Finger enthält, können einige Bewegungen nicht richtig dargestellt werden.

4. VMC-Protokoll und externe Anwendungen

Abonnenten können über die OSC/VMC-Protokolle Aktionsdaten an kompatible Tools wie VSeeFace, Unity, Unreal Engine usw. senden, wodurch die Kamera in Live-Übertragungen oder Entwicklungsworkflows eingesetzt werden kann.

5. FBX-Aktion exportieren

Die Software kann die erfassten Daten als FBX-Datei speichern, damit sie in 3D-Programmen wie Blender, Maya und 3ds Max weiter bearbeitet werden können. Vor der Exportierung sollten Knochenkarten, Frame-Rate sowie die Aufzeichnung der elastischen Knochen überprüft werden.

6. OBS-Live-Übertragung mit transparentem Hintergrund

Benutzer können das Kamerabild verbergen, einen durchsichtigen Hintergrund einstellen und anschließend über OBS eine virtuelle Livestreaming- oder Videoaufnahmefunktion nutzen. Das Verbergen der Softwareoberfläche ist nur im Rahmen einer kostenpflichtigen Lizenz möglich.

Unterstützungsplattformen

• Windows 10 oder eine neuere Version.
• macOS Catalina oder eine neuere Version.
• Es werden separate Installationspakete für Apple Silicon- und Intel-Macs bereitgestellt.
• Offizielle iPhone- und iPad-Hilfsanwendungen können die Tracking-Berechnungen auf mobile Geräte verlagern.
• Android-Handys können über Drittanbieter-Kamera-Apps als Video-Eingang verwendet werden.

Stand zum 24. August 2026 beträgt die Version der Desktop-Website 1.11.3. Vor dem Herunterladen und Installieren sollte man nochmals die aktuelle Version, die Quelle der Datei sowie die Sicherheitshinweise des Systems überprüfen.

Preis- und Versionsvergleich

Die unten angegebenen Preise wurden am 24. August 2026 auf der dynamischen Webseite der offiziellen Website überprüft; die Währung ist der US-Dollar. Steuern, Zahlungen vor Ort, Rabatte sowie weitere Anpassungen richten sich nach den Angaben auf der tatsächlichen Zahlelseite.

Laut der offiziellen Website können Abonnenten, die bereits eine Lebenszeitlizenz erworben haben, den zuvor gezahlten Abonnementbetrag als Rabatt geltend machen. Die Mindestgebühr beträgt jedoch 1 US-Dollar. Auch nach Kündigung des Abonnements kann das Produkt bis zum Ende der aktuellen Gebührenperiode weiter verwendet werden.

Anleitung zur Verwendung

1. Laden Sie von der offiziellen Website das Installationspaket herunter, das zur Prozessorarchitektur von Windows oder Mac passt.
2. Starten Sie nach der Installation gleichzeitig Webcam Motion Capture und Webcam Motion Receiver.
3. Genehmigen Sie den Zugriff für die Kamera, wählen Sie das Gerät aus und testen Sie zunächst die Flüssigkeit bei 640×360.
4. Importieren Sie Charaktere, die den VRM-Standards entsprechen, und überprüfen Sie, ob Körper und die Knochen jeder Finger vollständig sind.
5. Platzieren Sie die Kamera in einer Höhe, die der Kopfhöhe nahekommt, damit Gesicht, Brust, Ellbogen und Handflächen klar sichtbar sind.
6. Kalibrieren Sie Gesichtsausdrücke, Blinzeln, Mundform und Körpersprache, und erhöhen Sie anschließend schrittweise die Auflösung und Bildqualität.
7. Bei der Live-Übertragung werden ein transparenter Hintergrund sowie OBS konfiguriert; bei der Verbindung mit anderen Softwareprogrammen werden die VMC-Adresse, der Port sowie die Empfangs-Plugins eingestellt.
8. Vor der offiziellen Aufnahme werden schnelle Bewegungen, Verdeckungsversuche sowie Langzeittests durchgeführt, und ein manueller Umstellungsplan wird vorbereitet.

Verbesserung der Stabilität der Verfolgung

• Verwenden Sie eine gleichmäßige Beleuchtung und vermeiden Sie Gegenlicht, starke Schatten sowie unruhige Hintergründe.
• Die Kamera bleibt stabil und sorgt dafür, dass der Nutzer dem Objektiv zugewandt ist.
• Beim Handtracking sollten Unterarm und Ellbogen sichtbar sein, um zu vermeiden, dass weite Ärmel im Weg sind.
• Bei unzureichender Leistung wird die Aufnahmegröße und Geschwindigkeit verringert oder die Grafikqualität des Empfängers herabgesetzt.
• Im Vollkörpermodus kann mit 1280×720 getestet werden, wobei sichergestellt werden muss, dass Beine und Füße im Bildbereich bleiben.
• Wenn gleichzeitig zwei Tracking-Apps verwendet werden müssen, kann die zweite Kamera, das Smartphone oder eine kompatible virtuelle Kamera genutzt werden.

Für welche Benutzer geeignet

• Virtual Streamer ohne professionelle Motion-Capture-Ausrüstung und Anfänger beim Live-Streaming.
• Benutzer von virtuellen Avataren wie VSeeFace, die Handbewegungen zur Ergänzung benötigen.
• Inhalteersteller, die Kurzvideos, Erklärungen und Charakteranimationen erstellen.
• Entwickler, die hoffen, Aktionen über VMC in Unity oder Unreal Engine einzubringen.
• 3D-Designer, die grundlegende Bewegungen als FBX speichern müssen, um sie weiter zu verfeinern.

Vorteile des Produkts

• Eine gewöhnliche Kamera reicht aus, um mehrere Bereiche zu verfolgen – die Anforderungen an die Hardware sind gering.
• Die kostenlose Version ermöglicht eine vollständige Überprüfung der Tracking-Qualität, bevor man entscheidet, ob eine kostenpflichtige Ausgabe in Anspruch genommen wird.
• Gleichzeitig für Windows, Intel Macs und Apple-Silicon-Macs verfügbar.
• Das VMC-Protokoll und die FBX-Exportfunktion erleichtern den Zugang zu externen Produktionsschritten.
• Monatszahlungen, kurzfristige Vorauszahlungen und lebenslange Lizenzen bieten verschiedene Kostenoptionen.

Einsatzbeschränkungen und Hinweise

• Ein einzelnes Kameraobjektiv kann nicht die räumliche Präzision erreichen, wie sie bei professionellen Mehrkamerasystemen oder Inertialbewegungserfassungssystemen möglich ist.
• Verdeckung, Verlassen des Bildausschnitts, schwaches Licht und ähnliche Hintergründe verringern die Stabilität der Finger- und Körpertreue.
• Hohe Auflösung erhöht die Belastung von CPU und GPU – je höher die Bildqualität, desto flüssiger ist die Darstellung nicht unbedingt.
• Die kostenlose Version ermöglicht das Testen der Tracking-Funktionen, doch zum Senden von Daten an Dritte, zum Verbergen der Benutzeroberfläche sowie zur Exportierung in FBX ist eine Lizenz erforderlich.
• Bei der Live-Übertragung von Personen oder bei der Aufzeichnung der Gesichtsbewegungen anderer Personen muss eine ausdrückliche Zustimmung eingeholt werden, und die aufgenommenen Daten müssen geschützt werden.
• Wenn Antiviren-Software etwas blockiert, sollte der Schutzmechanismus nicht einfach deaktiviert werden. Zunächst sollte die Herkunft des Downloads sowie die Signatur der Datei überprüft werden.

GitHub und die Grenzen des Open Source

Die mit der Datenbank verbundene Software EasyVirtualMotionCaptureForUnity, abgekürzt EVMC4U, ist ein eigenständiger Plugin für Unity, das dazu dient, Daten im VMC-Protokoll zu empfangen. Sie wird unter der MIT-Lizenz bereitgestellt. Sie kann Daten aus der Webcam-Motion-Capture-Funktion empfangen – doch es handelt sich dabei nicht um den Quellcode der eigentlichen Desktop-Motion-Capture-Software.

Die Hauptanwendung für Webcam Motion Capture verfügt über keine öffentlich zugängliche, nachvollziehbare Open-Source-Lizenz und sollte daher als kommerzielles Programm betrachtet werden. Ebenso bedeutet die Offenlegung des VMC-Protokolls sowie der Empfänger-Plugins nicht, dass das gesamte Tracking-Programm offen zugänglich ist.

Häufige Fragen

Kann man es ohne Bezahlung nutzen?

Es ist möglich, alle Tracking-Funktionen zu testen. Um die Benutzeroberfläche für Live-Übertragungen zu verbergen, sie über VMC an externe Anwendungen zu senden oder in FBX-Format zu exportieren, ist ein Abonnement oder der Kauf einer Vorab-Lizenz erforderlich.

Welche Kameras sind benötigt?

Man kann mit einer gewöhnlichen Computerkamera beginnen, oder auch ein Smartphone als Kamera verwenden. Die Genauigkeit der Tracking-Funktion hängt stärker von Lichtverhältnissen, der Sichtweise, der Frame-Rate sowie von Hindernissen in der Bewegung ab – und nicht nur von der Auflösung.

Wird die vollkörperliche Tracking-Funktion unterstützt?

Es wird der Gesamtkörper-Tracking-Modus mit Kamera unterstützt, doch die Genauigkeit bei den Füßen, Drehungen und Verdeckungen ist begrenzt. Bei professioneller Produktion sollte man mehrere Kameras oder spezielle Motion-Capture-Ausrüstungen in Betracht ziehen.

Kann es in Unity exportiert werden?

Eine bezahlte Lizenz kann über das VMC-Protokoll bereitgestellt werden; auf der Unity-Seite können Empfangs-Plugins wie EVMC4U verwendet werden. Es sollten Porte, Firewall-Einstellungen, Modellknochen sowie Netzwerkeinstellungen überprüft werden.

Zusammenfassung

Webcam Motion Capture eignet sich, um zu geringen Hardwarekosten hin die Verfolgung von Fingern, Gesicht und Körper von virtuellen Avataren durchzuführen. Kostenlose Tests sowie verschiedene Zahlungsmodelle ermöglichen eine einfache Bewertung. Die Genauigkeit ist jedoch weiterhin von den Möglichkeiten einer einzelnen Kamera abhängig. Vor der Auswahl sollten daher echte Bewegungen, die Leistung des Computers, die Kompatibilität mit Modellen sowie die Anforderungen an die Ausgabe untersucht werden.