ChatTTS

ChatTTS是什麼

ChatTTS 是 2Noise 開發的生成式文本轉語音模型，專門用於聊天助手、多人對話以及口語化內容，而非傳統的播報式朗讀。

專案支援中文與英文，可在本地透過 Python、命令列或範例 WebUI 生成語音。英文在專案說明中仍標為實驗性，不能假定與中文達到相同穩定性。

先區分官方項目與同名網站

同名網站連結至官方倉庫，但頁面存在訓練時數相互衝突、仍把已發布模型寫成未來計劃、宣稱多語言 SDK 等未經官方項目證實的內容。實際部署和許可應以 2Noise 目前倉庫與模型卡為準。

模型與訓練數據狀態

公開模型並非 10 萬小時主模型的完整版本，也不是經過面向最終用戶精調的商業語音引擎。網站所宣傳的訓練規模與音質，無法取代對公開權重所進行的實際測試。

主要功能

對話式語音合成

• 輸入中文、英文或一定程度的中英混合文本，模型生成更接近日常對話節奏的語音。
• 適合用於 LLM 助手、對話原型、研究演示以及多輪互動，以產生連續音頻。
• 輸出可透過 24000Hz 的採樣率儲存為 WAV，倉庫命令列範例也會產生 MP3 檔案。
• 它負責將文字轉換成聲音，不負責理解業務問題、檢索知識或生成對話文本。

多說話人與隨機音色

• 模型支援多說話人，開發者可以採樣隨機 speaker embedding 以獲得不同音色。
• 保存採樣得到的說話人嵌入後，可在後續推理中嘗試重複使用相近音色。
• 隨機說話人並非透過上傳樣本來進行身份複製，目前公開的倉庫並未將零樣本聲音克隆列為已完成的機能。
• 同名網站宣傳的聲音克隆入口指向其他產品，不能作為 ChatTTS 官方模型能力。

笑聲、停頓與口語化控制

• 句子級提示可調 oral、laugh 和 break 強度，用於控制口語程度、笑聲傾向與停頓長度。
• 詞級控制目前主要包括 laugh、uv_break 和 lbreak，可在指定位置插入笑聲或不同停頓。
• temperature、top_P 和 top_K 用於調整採樣的隨機性，參數變化會影響音色、韻律和穩定性。
• 更多情緒控制仍在路線圖中，目前公開模型無法穩定依任意情緒標籤生成。

批量推理與本地工具

• Python 接口可一次提交多段文字並返回音頻陣列，適合離線批量生成測試素材。
• 倉庫提供命令列入口，可直接把一段或多段文字保存為本地音頻。
• 示例 WebUI 便於在瀏覽器中測試本地模型，但它只是用於開發的示範版本，並非具備帳戶、隊列和 SLA 的正式生產平台。
• 官方倉庫還提供 Colab 範例，雲端運行會受到會話時長、GPU 配額和外部儲存規則的影響。

輸入、參數與輸出

本地安裝與使用教學

1. 準備 Python 3.11 環境；需要 GPU 時先確認顯卡驅動、CUDA、PyTorch 與可用顯存相互相容。
2. 從 2Noise 官方倉庫克隆代碼，或安裝 PyPI 中的 ChatTTS 套件；不要從同名下載站獲取不明可執行檔案。
3. 在獨立虛擬環境安裝專案依賴，首次運行前檢查依賴版本和已知安全問題。
4. 初始化 ChatTTS.Chat 物件，呼叫目前的 load 方法來載入模型；舊教學中的 load_models 可能已經過時。
5. 先用短句運行 infer，確認模型下載、推理設備和 24000Hz 音頻保存流程正常。
6. 需要固定角色時採樣並保存 speaker embedding，再用相同嵌入測試多段台詞的一致性。
7. 使用句子級或詞級控制標記調整口語、笑聲和停頓，每次只改變少量參數並保留對比樣本。
8. 批量任務加入文本清洗、最大長度、失敗重試和人工试听，避免異常輸入造成顯存耗盡或低品質音頻。
9. 對外展示前標記合成語音並檢查許可、人物權利和內容風險；商業項目不得使用當前非商業模型權重。

硬體與性能

官方性能數字僅用於估算開發環境，無法保證生產環境下的處理效率。正式服務應根據目標文本的長度、同時處理的請求數量、說話人數以及硬體條件來進行壓力測試。

能力邊界與已知限制

• 自回歸模型可能出現說話人漂移、音質不穩定、異常停頓或同一句多次結果差異較大。
• 專案建議多次採樣以選擇較佳結果，這意味著它不適合在未經審核的情況下進行即時關鍵播報。
• 英語仍屬實驗性支持，複雜专名、縮寫、數字、混合語言和長句可能需要預處理。
• 固定 speaker embedding 只能提高音色一致性，不能證明身份、年齡、性別或情感屬性準確。
• 目前公開的模型沒有完整零樣本聲音克隆、任意情緒控制及正式流式生成承諾。
• 合成語音不保證無高頻雜訊、無偽影或適合廣播級製作，後期降噪也可能改變音色。

路線圖功能

價格與使用成本

2Noise並未為ChatTTS提供官方的付費雲端服務方案，其代碼與研究模型可自行下載。此處所說的「免費」，是指無需向該專案購買訂閱服務，並不代表不需要承擔硬體、雲端GPU、儲存空間、電力以及維護成本等開支。

同名網站並未公開 ChatTTS 的訂閱或結算頁面，亦無法代表 2Noise 提供商業授權。任何收費的鏡像、託管 API 或用戶端，都應另行核驗開發者、模型許可及資料政策。

API、SDK與部署方式

• 自行把 ChatTTS 暴露為網路 API 時，需要處理隊列、超時、顯存隔離、輸入過濾、身分認證和濫用監測。
• 官方倉庫中的 OpenAI API notebook 是部署或兼容示例，不表示 2Noise 運營公共接口。
• 社區 WebUI、API 封裝和鏡像並非官方產品，版本、許可證和安全品質各不相同。

開源許可證與商用限制

• 「代碼開源」不等於模型權重可商用，兩個許可證必須分別遵守。
• 模型卡明確寫明用於教育與研究之目的，不應將其生成的音頻用於商業廣告、付費產品、客戶服務或營利性內容。
• AGPLv3+ 對網路服務和修改版本有特定義務，準備公開部署的組織應讓合規人員審查實際架構。
• 如果業務需要商業語音，應選擇許可證明確允許商業用途的模型，或取得權利方書面授權。

隱私、安全與濫用風險

在本地部署時，輸入的文字及生成的音頻都會保存在用戶自己的裝置或伺服器上，這相較於透過第三方雲端服務來處理時，具有更佳的隱私保護效果。由於 2Noise 並不運營任何公開的生成平台，因此該軟體也沒有為用戶帳號、線上生成內容或雲端儲存相關的隱私政策。

• 模型檔案通常需要從外部模型託管平台下載，部署環境仍會產生網路請求、緩存和依賴安裝記錄。
• 同名網頁演示會把互動交給嵌入的第三方 Space，敏感文本不應在沒有核驗其政策時提交。
• 第三方 App Store 應用、社群 API 和鏡像由各自開發者處理數據，不能套用 2Noise 本地項目的判斷。
• 生成接近真人的語音可能被用於冒充、詐騙和誤導，應獲取聲音與台詞授權並清楚標識合成內容。
• 項目加入高頻雜音並計劃開放檢測模型，但這無法保證每段音頻都可檢測、帶水印或無法被濫用。
• 對外 API 應限制請求長度、併發數量及危險內容，記錄必要的審計資訊，同時避免保存無關的個人資料。

適合用戶與典型場景

• 語音研究人員：評估對話式 TTS、多說話人與韻律控制。
• Python開發者：搭建本地非商業原型或研究工具。
• 高校與實驗室：在許可證範圍內開展中文和英文語音實驗。
• LLM應用研究員：為對話助手原型生成口語化回覆並測試互動。
• 音頻技術學習者：研究採樣參數、說話人嵌入和音頻保存流程。
• 不適合商業產品、廣告、付費內容及未經授權的聲音模仿。

優勢與限制

總結

ChatTTS 適合用於研究對話式語音、多說話人以及細粒度的韻律控制，其官方倉庫提供了從 Python 推理到本地 WebUI 的完整入門路徑。

使用時必須將 2Noise 官方專案、NEXGOE LLC 同名網站、社區 Space 與第三方應用分開。目前的權重僅允許用於教育研究及非商業用途，商業專案、聲音克隆宣傳以及敏感文本的線上生成都需要格外謹慎。