DeepMotion 是什麼
DeepMotion 是由 DeepMotion, Inc. 所開發的 AI 人體動作捕捉及 3D 動畫平台,其主要產品包括可將影片轉換為動作的 Animate 3D,以及可將文字轉換為動作的 SayMotion。它讓使用者能夠利用一般的攝影機拍攝的影片或自然語言,來創造出可被導入遊戲引擎、三維軟體及電影製作流程中的角色動畫。
平台主要用於處理人體及類人角色的動作,它並非用於生成代碼的工具,也不是能夠直接從圖片建立完整 3D 模型的建模軟體。動作的品質仍會受到拍攝角度、遮擋物、服裝、光線、人物比例以及後續的動作調整等因素的影響。
核心產品對比
| 產品 | 主要輸入 | 主要輸出 | 核心用途 | 使用方式 |
|---|---|---|---|---|
| Animate 3D | MP4、MOV、AVI 人體影片 | FBX、BVH、GLB、影片和圖片預覽 | 無標記全身、手、臉及多人動作捕捉 | 網頁、REST API |
| SayMotion | 文字提示或已有動作片段 | FBX、BVH、GLB、MP4 動畫 | 文字生成、延長、插入、合併和混合動作 | 網頁、REST API |
| Real-Time SDK | 實時攝影機或應用數據 | 實時人體追蹤結果 | 互動應用、遊戲和虛擬角色驅動 | 聯繫銷售開通 |
Animate 3D 主要功能
單攝影機無標記動捕
用戶上傳普通人體影片,系統會辨別關節軌跡並生成骨骼動畫,無需動捕服、感測器或專用攝影棚。它適合將手機拍攝的影片、檔案素材,以及舞蹈、體育和表演影片轉換為可編輯的動作。
全身、手部與面部追蹤
Animate 3D 可以追蹤全身的動作,並可根據需求啟用手部及面部的追蹤功能。每秒的全身動畫通常會消耗 1 個積分,而手部及面部的追蹤則各需額外消耗 0.5 個積分,因此若同時啟用這些功能,則會增加資源消耗。
多人動作捕捉
在同一個影片中,可以選擇多個角色並分別為其指定角色設定,人數上限則會隨著套餐的不同而從2人增加到8人。如果角色之間互相遮擋、重疊或移出畫面,就會降低追蹤的穩定性;因此,在進行多人任務時,應該確保角色的位置和背景夠清晰。
物理與動作修正
平台提供腳部鎖定、物理過濾、動作平滑處理、慢動作播放功能,以及根骨骼設定和速度調整等功能。Rotoscope Pose Editor 可以讓使用者逐幀修正關節位置,並可透過重新運行來比較不同參數的效果,但過度的平滑處理可能會導致原始動作的細節流失。
自訂角色與重導向
使用者可以選用預設的角色,或是自行建立頭像,也可以上傳 FBX、GLB 格式的自訂人形角色。系統會將角色的動作轉移到目標骨架上。如果角色的骨架、比例或命名不符合要求,則仍需在 Blender、Maya、Unity 或 Unreal Engine 中進一步調整。
多格式導出
常見的輸出格式包括 FBX、BVH、GLB、MP4、JPG、PNG 和 GIF,而 Professional 與 Studio 版本還提供 DMPE 格式。FBX 和 BVH 適用於動畫處理流程,GLB 則適合用於網頁及即時應用程式,至於影片和圖片,則主要用於預覽與溝通之用。
SayMotion 主要功能
文字生成 3D 动作
使用者以文字描述人物的動作、速度、情緒、肢體方向以及表演風格,SayMotion便會產生多個 3D 動作變體。它適用於快速尋找庫存動作庫中沒有的表演動作,同時也能用來為劇本、遊戲原型和虛擬角色打造初稿。
動作插入與延長
Inpainting 可在動作開頭、中間或結尾插入文字描述的新片段,並用於延長或局部修改現有動畫。使用者還能合併不同的動作,再透過剪輯長度、腳部鎖定、物理過濾和平滑控制來實現過渡。
提示輔助與故事編排
Prompt Enhancer 能幫助補充動作描述,Story Mode 則以連續指令來組織較長的表演。生成模型仍可能誤解複雜的空間關係、雙人互動或精確的節奏,因此關鍵鏡頭需要逐段生成、選擇並手動調整。
影片拍攝要求
- 使用真人或清晰類人動作影片,卡通和抽象人物不適合作為捕捉對象。
- 相機距人物約 2 至 6 公尺並保持固定,常規動作盡量正對拍攝。
- 確保需要追蹤的全身、半身或面部持續可見,避免道具、家具和其他人物遮擋關節。
- 地面動作可採用四分之三角度,減少身體部位相互遮擋。
- 使用中性且均勻的光照,避免過亮、過暗、運動模糊和強烈背光。
- 讓人物與背景形成明顯對比,服裝不要寬鬆遮住膝、肘等關鍵關節。
- 選擇符合套餐片長、檔案大小、解析度及幀率限制的影片,目前數值以價格頁面為準。
Animate 3D 使用教學
- 註冊並驗證 DeepMotion 賬號,在門戶中選擇 Animate 3D 和當前套餐。
- 準備符合捕捉指南的影片,先裁掉無關片段並確認人物、關節和地面清晰可見。
- 建立動畫任務,上傳影片,選擇單人或多人、全身、手部、面部以及目標角色。
- 設定腳部鎖定、物理過濾、根骨骼、平滑以及輸出參數,然後提交處理。
- 在預覽器中對照原影片檢查腳滑、穿插、關節跳動和人物錯配。
- 必要時使用 Rotoscope Pose Editor 逐幀修正,或用 rerun 調整設定重新生成。
- 下載 FBX、BVH、GLB 或預覽媒體,再導入目標三維軟體或遊戲引擎完成重定向和清理。
SayMotion 使用流程
- 選擇角色並輸入動作、方向、速度、情緒和持續時間,避免一次要求太多互相衝突的細節。
- 選擇變體數量並生成,比較節奏、姿態、腳步和空間方向。
- 使用剪輯、合併或 Inpainting 插入新動作,逐段建立較長的表演。
- 啟用平滑、物理過濾和腳部鎖定,檢查過渡是否自然。
- 導出目標格式,進入動畫軟體或引擎進行角色重定向、鏡頭和最終潤色。
適合用戶與場景
- 獨立遊戲開發者:將演員影片快速轉換為原型動作,並導入 Unity、Unreal Engine 或 Roblox 的流程。
- 三維動畫師:為 Blender、Maya、3ds Max 或其他工具準備基礎骨骼動畫。
- 影視與虛擬製作團隊:從現場或檔案影片中提取動作,減少基礎關鍵幀的工作量。
- 舞蹈、體育和教育創作者:將真人示範轉換為數字人動作或可視化素材。
- VR、AR 與虛擬人產品團隊:透過 API 或即時 SDK 將人體追蹤功能整合到應用程式中。
- 內容創作者:以文字生成簡短動作,再結合影片拍攝來打造更豐富的角色表演。
Animate 3D 價格
以下為當前頁面顯示的年付折算月價,月付價格可能不同。價格、稅費、地區結算與促銷應以實際結算頁面和帳戶後台為準。
| 套餐或版本 | 價格 | 計費週期 | 核心權益或額度 | 適合用戶 |
|---|---|---|---|---|
| Freemium | 免費 | 每月重設 | 25積分;20秒每片;2人;1次重跑;3角色;1080p;無商業許可 | 個人非商用測試 |
| Starter | 9美元/月 | 按年支付 | 180積分;20秒;3人;3次重跑;5角色;1080p | 輕量付費創作者 |
| Innovator | 17美元/月 | 按年支付 | 480積分;30秒;4人;5次重跑;10角色;1080p與60幀 | 持續製作的個人或小團隊 |
| Professional | 39美元/月 | 按年支付 | 1500積分;120秒;6人;25次重跑;20角色;4K與120幀 | 專業動畫製作 |
| Studio | 83美元/月 | 按年支付 | 不限積分;前7200積分最高優先級;360秒;8人;50角色;8K | 高用量工作室 |
積分會按月重設且不會結轉,1個積分通常對應1秒的全身動畫或1個3D姿勢。幫助中心中仍標示著每月可免費使用60秒的說法,這與目前價格頁面所顯示的25個積分相矛盾,實際可使用量應以登入後的數值為準。
SayMotion 價格
| 套餐或版本 | 價格 | 計費週期 | 核心權益或額度 | 適合用戶 |
|---|---|---|---|---|
| Freemium | 免費 | 每月重設 | 3積分;1次下載;2個變體;10秒剪輯;3個角色 | 文字動作試用 |
| Starter | 9美元/月 | 按年支付 | 15積分;不限下載;4個變體;20秒;5個角色 | 低頻創作者 |
| Professional | 39美元/月 | 按年支付 | 400積分;6個變體;120秒;20個角色;高優先級 | 專業內容製作 |
| Studio | 83美元/月 | 按年支付 | 1000積分;8個變體;360秒;50個角色;最高優先級 | 工作室與高用量團隊 |
Animate 3D 與 SayMotion 是分開的訂閱與額度體系,不應混用積分或權益。付費計劃的商業許可和 API 方案也應在購買前分別確認。
免費積分計劃
Animate 3D的使用者可以透過為新上傳的動作撰寫英文標籤,以及在使用姿勢編輯器時調整關節位置,來獲得積分。這些標籤和調整都用於改進Animate 3D與SayMotion的功能,參與者應明白這是一種用於改善模型的貢獻機制。
- 標籤品質依動作類型、風格和描述完整度評分,目前評估模型以英語為主。
- 姿勢修正依骨長和關節角度接近人體機械模型的程度評分。
- 用戶可能賺回任務消耗的部分或全部積分,但並非所有動畫都自動免費。
- 獲得方式不改變許可證,商業授權仍由生成時所用套裝決定。
- 所累積的積分會隨著套裝的月度週期而重設,不會結轉到下個月。
商業許可與退款
Freemium僅用於個人非商業用途;付費計劃則為在訂閱期間所創作的作品提供永久的、非獨家的、全額付費的、無版稅且可全球商業使用的授權。這些動畫可以嵌入遊戲、軟體、應用程式、影片或電影等完整作品中進行發行。
- 不得把動畫檔案作為獨立數位資產出售、再許可或提供下載。
- 不得僅換角色後把幾乎相同的動作作為資產包銷售。
- 終端用戶不應能在無需逆向工程的情況下從成品中提取動畫資產。
- 所有購買皆為最終交易且不予退款;用戶可取消續訂,套裝將持續至當前結算週期結束。
- 升級會按比例收取差價並立即補充新套餐對應額度。
API、SDK 與 GitHub
DeepMotion 提供 Animate 3D 與 SayMotion REST API,用於批量上傳、生成、查詢狀態、接收 Webhook、管理角色以及下載動畫。Animate 3D API 需要使用 Client ID 與 Client Secret 來取得存取令牌,而 API 的存取權限及使用量相關費用則需另行申請。
- 註冊門戶帳號並在 API 區提交訪問申請,等待獲得用戶端憑證和套餐。
- 在服務端安全保存金鑰,按認證流程換取令牌,不要把金鑰寫入前端或公開倉庫。
- 上傳影片或提交文字任務,保存返回的任務識別碼。
- 透過輪詢或 Webhook 取得完成狀態,再下載 FBX、BVH 等結果。
- 在生產環境中增加重試、超時、額度、內容驗證和檔案清理策略。
官方提供 Python 和 JavaScript/TypeScript SDK 套件,並公開了兩個 API 文件及範例儲存庫。該儲存庫中未檢測到標準的開源授權元資料,而核心雲平台、模型以及 Real-Time SDK 的源碼也沒有被公開,因此無法將 DeepMotion 產品本身稱為開源。
平台與集成
| 渠道 | 支持情況 | 說明 |
|---|---|---|
| 桌面瀏覽器 | 支持 | 完整門戶、生成、編輯和下載流程 |
| 行動瀏覽器 | 支持 | 單人捕捉可用;部分多人標註功能仍受限制 |
| 原生 iOS 與 Android 應用 | 暫未發現 | 移動網頁支援不等於原生應用 |
| Chrome 擴充功能 | 暫未發現 | 未核實到官方瀏覽器擴充功能 |
| REST API | 支持 | Animate 3D 與 SayMotion 分別提供,需申請訪問 |
| Real-Time SDK | 提供 | 面向實時追蹤與應用集成,聯繫銷售 |
隱私與資料安全
DeepMotion 會處理帳號與聯絡資訊、裝置與日誌、Cookie、使用元數據,以及上傳的影片和 3D 模型。上傳的內容預設不會向其他 Animate 3D 使用者公開,但仍會在雲端進行處理,且可能會與服務提供商的資料基礎設施產生互動。
- 基礎設施與服務供應商包括 Google Cloud、SendGrid、Okta 和 Citrix Podio 等。
- 資訊可能在美國或服務商設施所在的其他國家處理,涉及跨境傳輸。
- 終止帳號後,私人檔案可因備份、歸檔或審計保留商業合理時間,未給出固定天數。
- 自願公開的內容可能無法完全移除,上傳前應確認肖像權、表演權及素材許可。
- 免費積分計劃的標籤與動作修正用於改進產品,不適合提交受保密協議約束的描述。
- 企業和敏感項目應進一步確認內容保存、刪除、訓練排除、子處理方和安全合約。
優勢
- 只需普通影片即可完成基礎人體動捕,降低硬體和場地門檻。
- 同時覆蓋影片捕捉與文字生成,並能合併和編輯兩類動作。
- 支援全身、手、臉、多人、自訂角色及多種動畫輸出格式。
- 提供逐幀姿勢修正、腳部鎖定、物理過濾和動作平滑等實用後處理。
- 網頁、REST API 與即時 SDK 涵蓋個人製作、批次處理及應用內整合。
限制與注意事項
- 遮擋、移動相機、低對比度、寬鬆的服裝以及複雜的地面動作,都可能導致關節抖動、腳步不穩或動作互相干擾。
- 生成動作仍需動畫師檢查骨架、重定向、接觸點、節奏和角色比例。
- 文字生成無法保證精確複現複雜編舞、多人互動或專業體育技術。
- 免費計劃沒有商業許可,付費許可也禁止獨立轉售和再分發動畫資產。
- 積分每月清零,手部及面部追蹤會額外消耗積分。
- 部分幫助文件的舊額度與當前價格頁衝突,購買前需查看登入後台和結算頁。
- 核心模型與雲平台不開源,API 仓库公開不代表可以自托管服務。
常見問題
DeepMotion 需要動捕服嗎
不需要。Animate 3D 可以從一般的單攝影機人體影片中提取動作,但清晰的拍攝、無遮擋的關節以及穩定的攝影機角度,仍會對最終效果產生顯著影響。
免費版可以商用嗎
不可以。Freemium 是為個人非商業使用而設,商業專案在製作動畫時需要使用付費方案。
1 個積分能生成多少動畫
通常,1個積分相當於1秒的整體動畫,或是1個3D姿勢。而手部與面部的追蹤則會各自多消耗0.5個積分/秒。
積分會結轉嗎
不會。月付和年付套餐的積分都會在訂閱期結束時重置,未使用的積分不會延續到下一個週期。
支援哪些輸入輸出格式
Animate 3D 可以接收 MP4、MOV 和 AVI 格式的影片,而常見的輸出格式則有 FBX、BVH、GLB、MP4、JPG、PNG 和 GIF。具體的格式、影片長度以及大小上限則會根據所選的套餐而有所不同。
可以把生成動作做成資產包出售嗎
不能將動畫作為獨立的數位資產轉售或再許可。可以將動作嵌入遊戲、應用、影片和電影等完整作品,並依條款發行成品。
DeepMotion 是開源的嗎
核心產品並非經過驗證的開源軟體。官方雖然公開了 API 文件、範例以及 SDK 的使用說明,但並未為核心雲平台、模型或即時 SDK 提供開源許可證。
取消訂閱會退款嗎
條款寫明購買後即為最終決定,且不退款。取消後將不再續費,已支付的套餐通常會持續到目前的結算週期結束為止。
總結
DeepMotion適合用普通影片或文字快速建立角色動作,再導入遊戲、影視與三維製作流程。選擇套餐時應同時評估積分、片長、多人數量、導出規格和商業許可,並為動作清理與工程集成預留人工環節。
桂公網安備45132202000164號