DeepMotion

Was ist DeepMotion?

DeepMotion ist eine von DeepMotion, Inc. entwickelte Plattform für die Erfassung von menschlichen Bewegungen mittels KI sowie für 3D-Animationen. Zu den wichtigsten Produkten gehören Animate 3D, mit dem Videos in animierte Inhalte umgewandelt werden können, sowie SayMotion, mit dem Texte in animierte Inhalte umgewandelt werden können. Dadurch können Nutzer mithilfe von herkömmlichen Kamervideos oder natürlicher Sprache Charakteranimationen erstellen, die in Spiel-Engines, 3D-Software sowie in Film- und Videoproduktionen verwendet werden können.

Die Plattform konzentriert sich hauptsächlich auf die Bewegungen von Menschen und menschenähnlichen Charakteren. Es handelt sich dabei weder um ein Tool zur Erstellung von Code noch um Software zum Erstellen vollständiger 3D-Modelle direkt aus Bildern. Die Qualität der Bewegungen hängt weiterhin von der Aufnahmewinkel, den Verdeckungen, der Kleidung, der Beleuchtung, den Proportionen des Charakters sowie von weiteren Anpassungen ab.

Vergleich der Kernprodukte

Hauptfunktionen von Animate 3D

Einzellinsenkameras ohne Markierungen für Motion-Capture

Der Benutzer lädt Videos von normalen Menschen hoch, das System erkennt die Bewegungen der Gelenke und erstellt daraus Skelettanimationen – ohne dass dazu Motion-Capture-Ausrüstung, Sensoren oder eine spezielle Filmkulisse benötigt werden. Es eignet sich dazu, Videos, die mit dem Handy aufgenommen wurden, Archivmaterial sowie Videos von Tänzen, Sportarten und Aufführungen in bearbeitbare Bewegungsdaten umzuwandeln.

Ganzkörper-, Hand- und Gesichtsverfolgung

Animate 3D kann die Bewegungen des gesamten Körpers verfolgen und je nach Aufgabe die Erfassung von Hand- und Gesichtsbewegungen aktivieren. Für die Animation des gesamten Körpers werden in der Regel 1 Punkt pro Sekunde benötigt; für die Erfassung von Hand- und Gesichtsbewegungen kommen jeweils zusätzlich 0,5 Punkte hinzu. Dadurch erhöht sich der Verbrauch, wenn beide Funktionen gleichzeitig genutzt werden.

Mehrpersonen-Action-Capture

In demselben Video können mehrere Charaktere ausgewählt und jeweils einer Rolle zugeordnet werden. Die maximale Anzahl der Personen variiert je nach Paket von 2 auf bis zu 8 Personen. Wenn die Charaktere sich gegenseitig verdecken, übereinanderliegen oder außerhalb des Bildausschnitts sind, wird die Stabilität der Erfassung beeinträchtigt. Bei Aufgaben mit mehreren Personen sollten klare Positionierungen sowie ein geeigneter Hintergrund gewählt werden.

Physikalische und motorische Korrekturen

Die Plattform bietet Fußverriegelung, physikalische Filter, flüssige Bewegungen, Zeitlupefunktion, Einstellungen für die Wurzelknochen sowie Geschwindigkeitsanpassungen. Der Rotoscope Pose Editor ermöglicht es, die Gelenke frame für frame zu korrigieren; Nutzer können verschiedene Parameter durch erneutes Ausführen vergleichen. Allerdings kann eine zu starke Glättung dazu führen, dass Details der ursprünglichen Bewegung verloren gehen.

Benutzerdefinierte Rollen und Umleitung

Die Benutzer können die Standardrolle verwenden, ein Profilbild erstellen oder eigene, menschenähnliche Charaktere im FBX- oder GLB-Format hochladen. Das System leitet die erfassten Bewegungen auf das Ziel-Skelett um. Wenn das Skelett des Charakters, seine Proportionen sowie der Name nicht den Anforderungen entsprechen, muss weiterhin in Blender, Maya, Unity oder Unreal Engine nachgebessert werden.

Export in mehreren Formaten

Zu den gängigen Ausgabeformaten gehören FBX, BVH, GLB, MP4, JPG, PNG und GIF. Professional und Studio bieten zudem DMPE an. FBX und BVH eignen sich für Animationssysteme, GLB ist geeignet für Webseiten und Echtzeitanwendungen, während Videos und Bilder hauptsächlich zur Vorschau und Kommunikation verwendet werden.

Hauptfunktionen von SayMotion

Textgenerierung von 3D-Aktionen

Der Benutzer beschreibt mit Text die Bewegungen der Charaktere, ihre Geschwindigkeit, ihre Emotionen, die Richtung ihrer Körperteile sowie ihren Darstellungsstil. SayMotion erzeugt daraufhin mehrere 3D-Bewegungsvarianten. Es eignet sich dazu, schnell Darstellungen zu finden, die nicht in der vorhandenen Bewegungsbibliothek enthalten sind, und kann außerdem erste Entwürfe für Drehbücher, Spielprototypen sowie virtuelle Charaktere erstellen.

Einschub und Verlängerung von Bewegungen

Mit Inpainting können neue Textbeschreibungen zu Beginn, in der Mitte oder am Ende einer Animation eingefügt werden, um bestehende Animationssequenzen zu verlängern oder teilweise zu ändern. Die Benutzer können außerdem verschiedene Bewegungsabläufe zusammenführen und durch Anpassung der Länge, Fußfixierung, physikalische Filter sowie Smoother-Steuerung Übergänge gestalten.

Hinweise zur Unterstützung und Erzählstruktur

Der Prompt Enhancer hilft dabei, Beschreibungen von Handlungen zu ergänzen, während der Story Mode längere Aufführungen mit aufeinanderfolgenden Anweisungen strukturiert. Die Generierungsmodelle können immer noch komplexe räumliche Beziehungen, Interaktionen zwischen zwei Personen oder einen präzisen Rhythmus falsch verstehen; wichtige Szenen müssen daher schrittweise erstellt, ausgewählt und manuell angepasst werden.

Anforderungen an die Videoaufnahme

• Es werden echte Personen oder Videos mit klaren, menschenähnlichen Bewegungen verwendet; Cartoons und abstrakte Figuren eignen sich nicht als Aufnahmeelemente.
• Die Kamera befindet sich in einer Entfernung von etwa 2 bis 6 Metern vom Personen und bleibt dabei fest. Die Bewegungen sollten möglichst so sein, dass die Kamera direkt auf die Person gerichtet ist.
• Stellen Sie sicher, dass der zu verfolgende Körper, die Oberkörper oder das Gesicht stets sichtbar sind, und vermeiden Sie, dass Requisiten, Möbel und andere Personen die Gelenke verdecken.
• Die Bodenbewegungen können in einem Winkel von drei Vierteln ausgeführt werden, um zu vermeiden, dass Körperteile sich gegenseitig verdecken.
• Verwenden Sie eine neutrale und gleichmäßige Beleuchtung – vermeiden Sie zu helles oder zu dunkles Licht, Bewegungsunschärfe sowie starke Hintergrundbeleuchtung.
• Erzeugen Sie einen deutlichen Kontrast zwischen den Charakteren und dem Hintergrund. Die Kleidung sollte nicht zu weit sein, sodass wichtige Gelenke wie Knie und Ellbogen verdeckt werden.
• Wählen Sie Videos aus, die den Anforderungen hinsichtlich Länge des Pakets, Dateigröße, Auflösung und Bildfrequenz entsprechen. Die aktuellen Werte gelten von der Preisseite her.

Anleitung für Animate 3D

1. Registrieren und Ihr DeepMotion-Konto verifizieren, im Portal „Animate 3D“ sowie das aktuelle Paket auswählen.
2. Erstellen Sie ein Video, das den Anforderungen der Aufnahmeanleitung entspricht: Schneiden Sie zunächst unerwünschte Teile heraus und stellen Sie sicher, dass Personen, Gelenke und der Boden klar sichtbar sind.
3. Erstellen Sie eine Animierungsaufgabe, laden Sie ein Video hoch und wählen Sie zwischen Einzelperson oder mehrere Personen, Körper ganzheitlich, Hände, Gesicht sowie Zielcharakter.
4. Stellen Sie die Fußverriegelung, den physikalischen Filter, das Wurzelgerüst, die Glättung sowie die Ausgabeparameter ein und senden Sie die Verarbeitung ab.
5. Überprüfen Sie im Vorschaubereich im Vergleich zum Originalvideo Schleifen, Überlappungen, Bewegungen der Gelenke sowie Fehlmatches der Personen.
6. Bei Bedarf wird der Rotoscope Pose Editor verwendet, um Frame für Frame Korrekturen vorzunehmen, oder es werden die Einstellungen mit „rerun“ angepasst, um neu zu generieren.
7. Laden Sie FBX, BVH, GLB oder Vorschau-Medien herunter und importieren Sie sie in die Ziel-3D-Software oder Spielengine, um die Umleitung und Bearbeitung durchzuführen.

SayMotion-Anwendungsschritte

1. Wählen Sie eine Figur aus und geben Sie Aktion, Richtung, Geschwindigkeit, Stimmung und Dauer ein – vermeiden Sie es, auf einmal zu viele miteinander kollidierende Details anzufordern.
2. Wählen Sie die Anzahl der Varianten aus und erzeugen Sie sie, um Rhythmus, Haltung, Schrittweise und räumliche Richtung zu vergleichen.
3. Verwenden Sie Schnitte, Zusammenfassungen oder Inpainting, um neue Aktionen einzufügen und so nach und nach längere Darbietungen zu erstellen.
4. Aktivieren Sie die Glättung, das physikalische Filtern sowie das Fußverriegelungssystem und überprüfen Sie, ob die Übergänge natürlich sind.
5. Exportieren in das Zielformat, um im Animationsprogramm oder -motor die Charaktere umzuleiten, die Kameraperspektiven anzupassen und die Endbearbeitung durchzuführen.

Passend für Nutzer und Szenarien

• Unabhängige Spieleentwickler: Schnelle Umwandlung von Schauspieler-Videos in Prototyp-Bewegungen und Import in Unity, Unreal Engine oder Roblox.
• 3D-Animator: Erstellung von Grundgerüsten für Animationen in Blender, Maya, 3ds Max oder anderen Tools.
• Film- und Virtual-Production-Teams: Extrahieren von Bewegungen aus Live- oder Archivvideos, um die Arbeit mit den grundlegenden Schlüsselbildern zu reduzieren.
• Tänzer, Sportler und Pädagogen: Umwandlung von Live-Vorführungen in digitale Bewegungsabläufe oder visuelle Materialien.
• VR-, AR- und Virtual-Person-Produktteam: Integration der Körperverfolgung in Anwendungen über API oder Echtzeit-SDK.
• Inhaltscreator: Mit Texten werden kurze Aktionen erzeugt, die anschließend in Kombination mit Videoaufnahmen zu einer reichhaltigeren Darstellung der Charaktere führen.

Preise für Animate 3D

Im Folgenden sind die monatlichen Preise angegeben, die aus dem jährlichen Preis ermittelt werden. Die monatlichen Preise können unterschiedlich sein. Preise, Steuern, Zahlungsbedingungen sowie Angebote gelten gemäß den Angaben auf der Zahlelseite und im Konto-Backend.

Die Punkte werden monatlich zurückgesetzt und nicht übertragen. In der Regel entspricht 1 Punkt 1 Sekunde an Animationen für den gesamten Körper oder einer 3D-Haltung. In der Hilfeseite wird weiterhin von 60 kostenlosen Sekunden pro Monat ausgegangen – das stimmt jedoch nicht mit den aktuellen Preisen von 25 Punkten pro Monat überein. Es gilt die tatsächliche Anzahl der Punkte nach dem Einloggen.

SayMotion-Preis

Animate 3D und SayMotion verfügen über getrennte Abonnement- und Lizenzsysteme; es sollte nicht versucht werden, Punkte oder Vorteile beider Systeme miteinander zu kombinieren. Die kommerziellen Lizenzen sowie die API-Lösungen der jeweiligen Pakete sollten vor dem Kauf separat geprüft werden.

Kostenloses Punktesystem

Anwender von Animate 3D können Punkte zurückgewinnen, indem sie englische Bezeichnungen für neu hochgeladene Bewegungen erstellen und Gelenke im Pose-Editor anpassen. Die Bezeichnungen sowie die Anpassungen dienen dazu, Animate 3D und SayMotion zu verbessern. Die Teilnehmer sollten verstehen, dass es sich um einen Mechanismus handelt, der zur Verbesserung der Modelle beiträgt.

• Die Qualität der Tags wird nach Art der Aktion, Stil und Vollständigkeit der Beschreibung bewertet; derzeit basiert das Bewertungsmodell hauptsächlich auf Englisch.
• Die Korrektur der Körperhaltung wird nach dem Grad bewertet, in dem Länge der Knochen und Gelenkwinkel einem mechanischen Modell des menschlichen Körpers entsprechen.
• Die Benutzer können einen Teil oder alle für die Aufgaben verbrauchten Punkte zurückgewinnen, aber nicht alle Animationen sind automatisch kostenlos.
• Die Art und Weise, wie sie erworben wird, ändert die Lizenz nicht; die kommerzielle Lizenz bleibt weiterhin vom Paket abhängig, das zum Zeitpunkt der Erstellung verwendet wurde.
• Die erworbenen Punkte werden im Monatszyklus des Pakets zurückgesetzt und in den folgenden Monat übertragen.

Geschäftslizenz und Rückerstattung

Freemium dient ausschließlich persönlichen, nicht-kommerziellen Zwecken; das Pay-Plan gewährt für während der Abonnementsdauer erstellte Produkte eine dauerhafte, nicht-exklusive, vollständig bezahlte, urheberrechtsfreie und weltweite kommerzielle Lizenz. Die Animationen können in Spiele, Software, Anwendungen, Videos oder Filme sowie andere komplexe Werke eingebettet und veröffentlicht werden.

• Animationsdateien dürfen nicht als eigenständige digitale Vermögenswerte verkauft, weiterlizenziert oder zum Download bereitgestellt werden.
• Es ist nicht zulässig, nach dem Wechsel der Rolle fast identische Aktionen als Asset-Paket zu verkaufen.
• Endbenutzer sollten nicht in der Lage sein, Animationselemente aus fertigen Produkten ohne Reverse Engineering zu extrahieren.
• Alle Käufe gelten als endgültige Transaktionen und sind nicht rückerstattbar; der Nutzer kann die Verlängerung kündigen, wobei der Abo-Vertrag bis zum Ende der aktuellen Zahlungsperiode gültig bleibt.
• Bei einem Upgrade wird der Differenzbetrag proportional berechnet und das entsprechende Guthaben des neuen Pakets wird umgehend aufgefüllt.

API, SDK und GitHub

DeepMotion bietet die Animate 3D- und SayMotion REST-API an, die zum Massen hochladen, Erstellen, Abfragen von Statusinformationen, Empfangen von Webhooks, Verwalten von Rollen sowie Herunterladen von Animationen verwendet werden. Die Animate 3D-API nutzt einen Client ID sowie ein Client Secret, um Zugangstoken zu erhalten. Für den Zugriff auf die API sowie für die Preisgestaltung der Nutzung muss eine Anfrage gestellt werden.

1. Registrieren Sie ein Konto im Portal und reichen Sie einen Antrag auf Zugang in dem API-Bereich ein; warten Sie darauf, die Client-Zugangsdaten sowie das Paket zu erhalten.
2. Sichern Sie die Schlüssel sicher auf der Serverseite und erwerben Sie Token gemäß dem Authentifizierungsprozess – schreiben Sie die Schlüssel nicht in die Client-Seite oder in öffentliche Repositorien.
3. Laden Sie ein Video hoch oder übermitteln Sie eine Textaufgabe und speichern Sie die zurückgegebene Aufgabenerkennung.
4. Erhalten Sie den Fortschrittsstatus über Polling oder Webhook und laden Sie anschließend die Ergebnisse wie FBX, BVH usw. herunter.
5. In der Produktionsumgebung werden Strategien für Wiederholungsversuche, Zeitüberschreitungen, Limits, Inhaltsüberprüfung und Dateiverwaltung hinzugefügt.

Offiziell werden Python- sowie JavaScript/TypeScript-SDK-Pakete bereitgestellt, außerdem werden Dokumentationen zu den APIs sowie Beispielrepositorien veröffentlicht. In den Repositorien werden keine Metadaten einer standardmäßigen Open-Source-Lizenz gefunden. Zudem werden die Kerncloudplattformen, Modelle sowie das Real-Time-SDK nicht als Quellcode veröffentlicht. Daher kann das DeepMotion-Produkt selbst nicht als Open Source bezeichnet werden.

Plattformen und Integration

Privatsphäre und Datensicherheit

DeepMotion kümmert sich um Kontoinformationen und Kontaktdaten, Geräte sowie Protokolle, Cookies, Verwendungsmetadaten sowie hochgeladene Videos und 3D-Modelle. Die hochgeladenen Inhalte werden standardmäßig nicht anderen Animate 3D-Nutzern zugänglich gemacht, werden aber dennoch in der Cloud verarbeitet und können mit der Dateninfrastruktur des Dienstanbieters interagieren.

• Zu den Infrastruktur- und Dienstleistungsanbietern gehören Google Cloud, SendGrid, Okta und Citrix Podio usw.
• Die Informationen können in den Vereinigten Staaten oder in anderen Ländern, in denen sich die Server des Anbieters befinden, verarbeitet werden, was eine grenzüberschreitende Übertragung bedeutet.
• Nach der Löschung des Kontos können die persönlichen Daten aufgrund von Backups, Archivierung oder zur Durchführung von Prüfungen für einen vom Geschäft angemessenen Zeitraum aufbewahrt werden; es wird keine feste Anzahl an Tagen angegeben.
• Freiwillig veröffentlichte Inhalte können möglicherweise nicht vollständig entfernt werden; vor dem Hochladen sollten Urheberrechte, Darstellungsrechte sowie Lizenzen für die verwendeten Materialien überprüft werden.
• Die Tags und Aktionen des kostenlosen Punkteprogramms dienen zur Verbesserung des Produkts und eignen sich nicht für Beschreibungen, die durch Vertraulichkeitsvereinbarungen gebunden sind.
• Unternehmen und sensible Projekte sollten die Speicherung, Löschung, Ausklammerung bei der Schulung, Unterauftragnehmer sowie Sicherheitsverträge weiter prüfen.

Vorteile

• Für die grundlegende Mensch-Tracking-Technologie reicht ein gewöhnliches Video aus, wodurch die Anforderungen an Hardware und Standort reduziert werden.
• Es umfasst gleichzeitig Videoaufnahmen und Texterstellung und kann diese beiden Arten von Inhalten zusammenführen und bearbeiten.
• Unterstützt den gesamten Körper, Hände, Gesicht, mehrere Personen, benutzerdefinierte Charaktere sowie verschiedene Animationsausgabeformate.
• Praktische Nachbearbeitungsfunktionen wie Frame-for-Frame-Pose-Korrektur, Fußverriegelung, physikalische Filterung und Bewegungsglättung werden bereitgestellt.
• Webseiten, REST-APIs und Echtzeit-SDKs decken die individuelle Erstellung, den Batch-Modus sowie die Integration innerhalb der Anwendung ab.

Einschränkungen und Hinweise

• Verdeckung, Bewegung der Kamera, geringer Kontrast, lockere Kleidung sowie komplexe Bodenbewegungen können zu Zittern der Gelenke, Ausrutschen oder Verspätungen führen.
• Die Erstellung der Animationen erfordert weiterhin, dass der Animator Skelett, Umleitungen, Kontaktpunkte, Rhythmus sowie die Proportionen der Charaktere überprüft.
• Die Texterzeugung garantiert keine präzise Wiedergabe komplexer Choreografien, von Interaktionen zwischen mehreren Personen oder professioneller Sporttechnik.
• Der kostenlose Plan beinhaltet keine kommerzielle Lizenz, und die kostenpflichtige Lizenz verbietet den eigenständigen Wiederverkauf sowie die Weiterverteilung von Animationsressourcen.
• Die Punkte werden jeden Monat zurückgesetzt, und die Erfassung der Hand- und Gesichtsbewegungen verbraucht zusätzliche Punkte.
• Einige Hilfedokumente enthalten veraltete Preise, die mit den aktuellen Preisen übereinstimmen. Vor dem Kauf sollten Sie sich im Backend sowie auf der Zahlelseite informieren.
• Das Kernmodell sowie die Cloud-Plattform sind nicht open source; die Offenlegung des API-Repositories bedeutet nicht, dass Dienste selbst gehostet werden können.

Häufige Fragen

Braucht DeepMotion eine Motion-Capture-Uniform?

Das ist nicht notwendig. Animate 3D extrahiert die Bewegungen aus gewöhnlichen Videoaufnahmen mit einer Kamera. Doch eine klare Aufnahme, freie Gelenke sowie eine stabile Kamera tragen weiterhin erheblich zur Qualität des Ergebnisses bei.

Kann die kostenlose Version für kommerzielle Zwecke verwendet werden?

Nicht möglich. Freemium ist für private, nicht-kommerzielle Nutzung bestimmt; für kommerzielle Projekte ist ein kostenpflichtiges Abo erforderlich, um Animationen erstellen zu können.

Wie viele Animationen können mit 1 Punkt erstellt werden?

In der Regel entspricht 1 Punkt einer Sekunde vollständiger Körperanimation oder einer 3D-Haltung. Für die Erfassung der Hand- und Gesichtsbewegungen werden zusätzlich 0,5 Punkte pro Sekunde verbraucht.

Wird der Punkt übertragen?

Nein. Die Punkte für die Monats- und Jahresabonnements werden jeden Abonnementmonat neu berechnet. Unverwendete Punkte bleiben nicht über den nächsten Zeitraum hinweg bestehen.

Welche Eingangs- und Ausgabeformate werden unterstützt?

Animate 3D kann MP4-, MOV- und AVI-Videos empfangen. Die gängigen Exportformate sind FBX, BVH, GLB, MP4, JPG, PNG und GIF. Die genauen Formate sowie die maximalen Länge und Größe hängen vom Paket ab.

Kann die erstellte Aktion als Asset-Paket zum Verkauf angeboten werden?

Animationen können nicht als eigenständige digitale Vermögenswerte weiterverkauft oder lizenziert werden. Sie können in fertige Werke wie Spiele, Anwendungen, Videos und Filme eingebettet werden, und die Ergebnisse können gemäß den Bedingungen veröffentlicht werden.

Ist DeepMotion open source?

Das Kernprodukt ist kein zertifiziertes Open-Source-Software. Offiziell werden API-Dokumentationen, Beispiele sowie Informationen zur Anbindung über SDKs bereitgestellt, doch für die Kern-Cloud-Plattformen, Modelle oder die Echtzeit-SDKs wird keine Open-Source-Lizenz bereitgestellt.

Wird bei Kündigung ein Rückerstattung geleistet?

Die Bedingungen besagen, dass der Kauf endgültig ist und kein Rückgeld gewährt wird. Nach Stornierung erfolgt keine weitere Abrechnung; die bereits gezahlten Pakete gelten in der Regel bis zum Ende des aktuellen Abrechnungszeitraums.

Zusammenfassung

DeepMotion eignet sich dazu, mithilfe gewöhnlicher Videos oder Texte schnell Charakterbewegungen zu erstellen, die anschließend in Spiele, Filme sowie 3D-Produktionsprozesse eingefügt werden können. Bei der Auswahl eines Pakets sollten Punkte, Länge der Videos, Anzahl der Benutzer, Exporteinstellungen sowie kommerzielle Lizenzen berücksichtigt werden. Zudem sollten Zeitrahmen für die Bearbeitung der Bewegungen sowie die Integration in die Gesamtstruktur eingeplant werden.