Dubbing and AI

配音與AI實際對應Deepdub

資料庫中的「Dubbing and AI」來自產品頁面的標題，實際的品牌名稱是 Deepdub。它是一套專為媒體、廣播、後期製作以及語音智慧體而設計的企業級 AI 配音與聲音基礎設施。

Deepdub同時提供情緒化文字轉語音、聲音克隆、Voice-to-Voice、影視配音、即時廣播配音以及開發者API。它並非面向一般用戶的即時短影片翻譯應用，許多專業服務需要聯絡團隊進行設定。

主要產品能力

情緒化文字轉語音

Deepdub的eTTS技術著重於節奏、停頓、重音以及情緒的表達，而非僅僅將文字念出來而已。使用者可以選擇聲音、語言和表現風格，並透過API來產生完整的音頻，或以流式方式接收音頻片段。

• 適合客服智能體、電話系統、課程、旁白和互動角色。
• 可調整口音、速度、音高與情緒強度，具體參數隨模型變化。
• 支援為目標時長生成語音，便於字幕時間軸和畫面配合。
• 可用 SSML 音素標記控制專有名詞和特殊發音。
• 可選擇已許可的聲音，也可在有權利的情況下創建聲音參考。
• 長內容仍需檢查聲音漂移、斷句、數字和跨段一致性。

目前的主頁示範使用的是 Phantom X 3.2，而快速入門的範例則使用 dd-etts-3.0。產品展示的名稱與 API 模型編號並不完全一致，開發者應以帳戶中可用的模型以及最新的文件為準。

聲音克隆與 Voice-to-Voice

聲音克隆是根據短音頻樣本來創建數位聲音，如此一來就能在不同的文字和語言中保持相同的聲音特徵。而 Voice-to-Voice 則是保留演員原本的表演節奏、情緒以及細微的變化，再將其轉換成另一種經過許可的聲音。

• 聲音樣本必須來自本人或已取得明確授權的表演者。
• 授權應覆蓋訓練、生成、語言、地區、期限和商業渠道。
• 上傳聲音時需要標註語言、年齡、性別和說話風格等屬性。
• API 提供聲音上傳、列出、讀取和刪除操作。
• 影視項目可由少量演員的表演擴展為更多角色聲音。
• 品牌項目可保持跨廣告、市場和渠道的一致聲音身份。

Deepdub 推行聲音人才許可與版稅機制，但具體項目合約仍需逐項確認。任何技術上可以克隆的聲音都不等於法律上可以使用。

影視與媒體配音流程

媒體本地化會從音視頻中識別語音、生成腳本、處理翻譯與發音，再利用聲音庫、克隆或 Voice-to-Voice 技術製作目標語言的音軌。專業項目還可加入母語適配、製作團隊以及品質控制等服務。

1. 向團隊提供內容類型、時長、源語言、目標語言和發行地區。
2. 確認影片、腳本、演員聲音、音樂與效果音的權利範圍。
3. 上傳媒體或現有腳本，生成轉寫並拆分對白。
4. 建立人物、術語、發音、口音和風格要求。
5. 為每個角色選擇已許可聲音或經授權的聲音參考。
6. 生成樣片並審核翻譯、表演、角色一致性及時間匹配。
7. 修訂重點片段，處理音樂與效果、響度與混音。
8. 完成母語、創意、技術和合規品質檢查。
9. 按廣播或平台規範交付音軌與成片，並保留批准記錄。

自動轉寫頁面提供超過 130 種語言的支援，而配音和聲音 API 頁面則通常支援 100 多種語言及口音。不同模組所支援的語言範圍並不完全相同，因此在項目開始之前，應先確認所需使用的具體語言對、聲音以及地區口音。

Deepdub Live 即時配音

Deepdub Live 專為體育、新聞、電競及即時頻道設計，能將現場的語音轉換成多種語言的聲音流。它支援 SRT、HLS 和 MPEG-DASH 等廣播格式，且能提供 48kHz 的輸出品質。

• 自動適應說話人，並從短樣本保留主持人聲音身份。
• 情緒匹配會隨著現場語速、強度、停頓和事件變化。
• 頁面給出的首個音頻時間約為 125 毫秒，但實際的端到端延遲則取決於整個傳輸鏈路。
• 可使用克隆聲音或預先許可的廣播聲音角色。
• 生產配置提供權限、資料隔離和持續運營支援。
• 直播中的姓名、比分、突發信息及敏感表述仍需人工監看。

Live 解決方案頁面寫明 99.9% 以上的 SLA，API 通用條款則規定付費 API 的月度可用性需達 99.95%，兩者的統計範圍不同。合同中應明確服務邊界、維護時間、延遲目標、故障切換以及賠償方式。

Voice API 接入方式

API 快速上手

1. 使用企業信箱註冊 14 天試用，並完成邀請和驗證碼流程。
2. 進入 Playground，確認帳戶自動生成的 API 金鑰。
3. 試聽聲音預設並保存需要的 voice prompt id。
4. 安裝 deepdub Python 套件或 Node.js 用戶端，也可直接發送網路請求。
5. 選擇模型、語言、目標文字、聲音和輸出格式。
6. 批量任務使用 REST，低延遲對話優先測試 WebSocket 流式生成。
7. 把密鑰存入伺服器端密鑰管理系統，不要放入網頁或行動用戶端。
8. 測試空文本、超長文本、特殊字元、數字、SSML 和網路中斷。
9. 記錄生成請求、聲音許可、模型版本、輸出檔案和人工批准結果。
10. 試用結束前向銷售確認計費、保留模式、併發、SLA 與商業條款。

輸入、語言與輸出

免費試用與價格

公開頁面沒有列出試用後的具體時間包金額、額外用量單價、最低承諾或企業服務費。無法根據 1 萬字元約等於 10 分鐘來反推付費價格。

稅費、自動續費、取消、退款、未用額度、生成失敗以及併發超限計費等內容也均未公開說明。採購前應以實際結算頁面、訂閱包及雙方簽署的文件為準。

聲音許可與輸出權利

Deepdub 的聲音庫以已獲授權、可追蹤，且適合用於廣播及商業用途為特色，但此項權利僅涵蓋相關的聲音資產及合約範圍內的內容。使用者仍需擁有腳本、影片、音樂、角色以及自備的聲音樣本等所有必要的權利。

• 預置聲音的地區、頻道、期限和品牌用途應在訂單中確認。
• 自帶演員聲音必須有訓練、合成、翻譯和再利用授權。
• 不得把第三方素材上傳後就視為可以對外分發生成結果。
• API通用條款對非客戶完全擁有輸入生成的輸出設有嚴格限制。
• 影視和廣告專案應保存演員同意、版權鏈和最終用途批准。
• 合成聲音的標識義務取決於發行地法規和平台規則。

API條款規定，若輸入的資料並非客戶完全擁有，則相關的輸出結果通常只能提供給有關聯的方，且僅限於內部非商業用途。對於需要第三方許可的複雜專案，應透過另行簽訂的合約來明確其適用範圍，不能僅依賴通用的試用帳戶。

隱私、安全與資料保存

Deepdub的資料處理附錄涵蓋了作為處理者所接觸的客戶代表及演員的相關資料，包括姓名、聯絡方式以及聲音錄音。其子處理商包括AWS、Google和WeTransfer，而資料處理的地點則位於歐盟及美國。

• 平台通過 SOC 2 Type II，並在媒體場景標示 TPN Gold 或 TPN 認證。
• 個人數據靜態使用 AES-256，加密傳輸使用 TLS 1.2 或更高版本。
• 解決方案頁面稱客戶數據預設為隔離狀態，且不用於訓練模型。
• 客戶可選擇不保留模式，讓處理後的數據不繼續保存。
• 客戶可指示刪除個人資料，法律要求保留的部分除外。
• 當發生或懷疑發生安全事件時，DPA 規定必須在 48 小時內通知客戶。
• 資料主體的請求會在 72 小時內通知客戶並協助處理。

除非有書面約定，否則 Deepdub 無義務長期保存輸入的資料，且可設定檔案大小以及儲存和處理容量的限制。使用者必須自行保留原始素材、腳本、音效授權文件以及最終產出的成品備份。

API SLA 與生產可靠性

付費 API 的通用條款承諾每月的可用性達 99.95%，此數值並不包括需要提前通知的計劃性維護時間，免費服務則不適用此規定。高可用性數值並不代表每次生成的內容在延遲、音質或準確性方面都能得到保證。

• 為 REST 請求設定幀等控制，防止重試產生重複音頻和費用。
• WebSocket 應處理斷線重連、片段順序以及不完整的音頻。
• 實時業務準備備用聲音或傳統 TTS 降級路徑。
• 監控首音頻時間、總生成時間、錯誤率及音頻品質。
• 將模型或 API 更新納入相容性測試和發布審批。
• 直播合約需單獨明確延遲、SLA、支援時間和事故回應。

GitHub、SDK 與開源狀態

Python SDK 和 AudioSample 遵循 MIT 授權條款，僅說明這些程式碼庫的使用方式。它們並未開放 Deepdub 的模型權重、聲音庫、製作平台或商業配音服務。

適合用戶與場景

• 語音智能體團隊：構建客服、醫療引導和金融語音界面。
• 影視與流媒體公司：製作多語言劇集、電影和目錄內容。
• 廣播機構：為體育、新聞及大型直播提供即時語言音軌。
• 語言服務商：將情緒語音和聲音克隆接入現有本地化流程。
• 後期製作團隊：使用 Deepdub Go 控制口音、情緒和角色聲音。
• 品牌與培訓團隊：保持不同市場中的聲音身份和術語一致性。
• 開發者：透過 REST、WebSocket、Python 或 Node SDK 產生語音。

優勢與主要限制

主要優勢

• 涵蓋從 API TTS 到影視製作和即時廣播的多層產品。
• 情緒、節奏、口音和 Voice-to-Voice 更適合表演型內容。
• 提供大量已許可聲音和面向演員的版稅機制。
• 支援 REST、WebSocket、Python 與 Node.js 的整合。
• 提供 SOC 2、TPN、GDPR、加密與選擇性不保留模式。
• 專業項目可疊加母語適配、製作團隊和品質控制。

主要限制

• 試用後具體價格沒有公開，需要賬戶選擇或銷售報價。
• 語言、情緒數量和 SLA 在不同產品頁面採用不同統計口徑。
• API 可用語言與整體轉寫或媒體服務語言並不完全相同。
• 高品質媒體配音仍需要翻譯、表演和技術人員審核。
• 第三方輸入生成的輸出受嚴格分发與商業使用限制。
• 核心平台與模型閉源，開源 SDK 不代表產品開源。

總結

Deepdub 適用於那些對聲音表現、商業授權、即時性以及企業安全有高要求的語音智慧體、媒體與廣播專案。在開始試用之前，應先確定要使用的是 API、Deepdub Go、媒體製作功能還是即時處理功能，並以書面形式確認價格、語言、聲音版權、資料保留方式以及輸出分發範圍。

常見問題

Dubbing和AI是產品名稱嗎？

它是 Deepdub 頁面所使用的標題，實際品牌為 Deepdub。本條目所述的功能、API 和服務均屬於 Deepdub。

Deepdub 可以免費試用嗎？

可以，目前 API 的試用期為 14 天，可包含最多 1 萬個字元，頁面內容大約相當於 10 分鐘的長度。需要使用企業信箱註冊。

試用後多少錢？

公開頁面僅說明可購買按時間計算的套餐，並對額外用量採用固定價格，沒有列出具體金額。媒體和即時廣播方案需要聯繫銷售。

支援多少語言？

產品整體通常支援 100 多種語言與口音，自動轉寫及部分技術頁面則支援 130 多種。具體的 API locale、聲音以及目標語言能力應逐一核對。

支援即時語音嗎？

支持，WebSocket API可流式生成，Deepdub Live也面向實時廣播配音。實際延遲取決於模型、網路、編碼及完整的媒體鏈路。

聲音可以商業使用嗎？

Deepdub 聲音庫提供商業授權，但範圍以所選聲音及合約為準。使用者自帶的腳本、影片、角色及聲音樣本仍需自行取得權利。

客戶數據會用於訓練嗎？

解決方案頁面指出，客戶資料會被預設隔離，且不會用於訓練，同時也提供了可選的不保留模式。企業仍應在合約及 DPA 中確認具體的項目設定。

Deepdub 有 Python 和 Node SDK 嗎？

有，Python 的套件是 deepdub，Node 的套件則是 @deepdub/node。也可以直接使用 REST 或 WebSocket 介面。

Deepdub 是開源的嗎？

核心平台與模型並未開源。官方的 Python SDK 與 AudioSample 是以 MIT 授權條款發布的，但此授權條款並不適用於音效庫、模型權重以及託管服務。

輸入的內容會長期保存嗎？

不保證。除非另有書面約定，Deepdub 沒有長期保存輸入的義務，用戶應自行保留原始素材、授權和輸出備份。