笛卡兒是什麼
Cartesia是一個面向開發者與企業的即時語音AI平台,其主要產品包括Sonic文字轉語音、Ink語音辨識以及Line語音智慧體。該平台強調低延遲的流式處理方式,因此很適用於需要自然對話以及快速回應的應用場景。
開發者可以透過 Playground、API、Python 或 JavaScript SDK 以及 MCP 來使用語音功能。除了語音合成與轉錄之外,Cartesia還提供聲音克隆、聲音轉換、本地化、發音詞典以及企業級部署相關服務。
Cartesia主要功能
- Sonic TTS:將文本即時轉換為自然語音,並流式返回音頻。
- Ink STT:為即時對話轉寫語音,處理雜音、口音、電話音質和結構化數據。
- 語義端點檢測:根據說話含義判斷一輪何時結束,減少只按靜音觸發的誤判。
- 即時聲音克隆:使用約10秒清晰樣本快速創建聲音,Pro套餐起可用。
- 專業聲音克隆:用30分鐘以上單人錄音微調模型,Startup套餐起可用。
- Voice Changer:保留原音頻語調與節奏,將說話聲音替換為另一音色。
- 聲音本地化:將現有聲音適配到其他語言或方言。
- 發音詞典:透過自訂讀音和音素處理品牌、人名、藥名及專業術語。
- 情緒與控制:按模型能力調整速度、音量、情緒、停頓和表達。
- Line Agents:組合語音輸入、語音輸出、模型和電話能力搭建即時智能體。
- API與SDK:為Python、JavaScript以及其他HTTP/WebSocket應用提供介面。
- MCP:讓相容的AI用戶端直接運行TTS、STT、聲音管理及用量查詢。
Sonic、Ink與Line對比
| 產品 | 主要輸入 | 主要輸出 | 適合場景 |
|---|---|---|---|
| Sonic | 文本、聲音與表達參數 | 實時或檔案語音 | 旁白、客服、遊戲角色和語音界面 |
| Ink | 實時或錄製音頻 | 逐步與最終轉寫、回合事件 | 語音Agent、電話、會議和聽寫 |
| Line | 用戶語音與Agent工作流 | 完整語音對話和電話互動 | 客服、預約、篩選和自動外呼 |
Cartesia套餐價格對比
以下為官方定價頁面所顯示的每月美元費用,所有套餐皆支援無限工作區席位。Credits與Agent的使用時間會分別計費,至於稅金、預付餘額及企業折扣則以控制台上的結算頁面為準。
| 套餐 | 價格 | 月度credits | 預付Agent額度 | 核心權益 |
|---|---|---|---|---|
| Free | 0美元/月 | 20,000 | 1美元/月 | TTS、STT和基礎試用 |
| Pro | 5美元/月 | 100,000 | 5美元/月 | 商業使用許可與即時聲音克隆 |
| Startup | 49美元/月 | 1,250,000 | 49美元/月 | 專業聲音克隆與組織 |
| Scale | 299美元/月 | 8,000,000 | 299美元/月 | 優先支援與更高併發 |
| Enterprise | 訂製 | 訂製 | 訂製 | 規模折扣、SSO、DPA、BAA和專屬支援 |
套餐容量與併發對比
| 套餐 | 約含TTS分鐘 | 約含STT時長 | TTS併發 | STT/Agent併發 |
|---|---|---|---|---|
| Free | 約27分鐘 | 約1小時51分鐘 | 2 | 8 |
| Pro | 約133分鐘 | 約9小時16分鐘 | 3 | 12 |
| Startup | 約1667分鐘 | 約115小時44分鐘 | 5 | 20 |
| Scale | 約10667分鐘 | 約740小時44分鐘 | 15 | 60 |
| Enterprise | 訂製 | 訂製 | 訂製 | 訂製 |
以上分鐘數是官方根據現行標準模型換算出的近似值,並非固定承諾。文本預處理、模型、聲音、靜音、端點、專業克隆以及不同的音頻任務都會影響實際耗用時間。
Credits與額外計費規則
- 標準TTS:通常每個字元約消耗1 credit,預處理可能造成小幅差異。
- 專業克隆TTS:約每字元1.5 credits,比標準語音高50%。
- 即時克隆TTS:按標準TTS費率計算,不加專業克隆倍率。
- 專業克隆訓練:成功訓練一次消耗1,000,000 credits。
- 重新訓練:更換基礎模型或訓練數據需要再次支付訓練credits。
- Voice Changer:按輸入音頻每秒15 credits計費。
- 聲音本地化:一次性消耗225 credits。
- Line Agent:通話0.06美元/分鐘,使用平台號碼另加0.014美元/分鐘。
- STT:按模型、批次處理或即時端點以及音頻時長計費,靜音也計入。
文字轉語音接入教學
- 創建密鑰:在Playground生成API Key,並按環境拆分開發、測試和生產。
- 選擇模型:優先使用當前穩定的Sonic版本,不要把舊模型ID永久寫死。
- 選擇聲音:按語言、角色、場景和語速試聽聲音庫候選。
- 格式化文本:補充標點、日期、時間、停頓和自訂發音。
- 採用流式:即時對話使用WebSocket或流式輸出,盡早播放首段音頻。
- 處理連續性:長內容分塊時使用連續生成能力,減少段落音色和節奏跳變。
- 監控品質:記錄延遲、失敗率、credits和用戶中斷,逐步優化參數。
Ink即時轉寫接入教學
- 確認音頻編碼、採樣率、聲道和傳輸協議符合即時介面要求。
- 在發送音頻前連接WebSocket,並為斷線、重連和超時設計狀態機。
- 區分中間轉寫和最終轉寫,不要把未穩定文本直接寫入業務記錄。
- 監聽turn.start、turn.end和eager_end等事件,協調大模型與TTS響應。
- 為電話號碼、日期、電子郵件、貨幣、產品名稱及行業術語建立測試集。
- 在電話雜音、背景雜音、不同口音和沉默條件下進行真實評估。
- 記錄音頻時長、延遲、錯誤率及每次請求成本,設定用量告警。
聲音克隆教學
- 確認同意:僅克隆本人聲音,或取得聲音權利人的明確書面授權。
- 選擇類型:先用約10秒樣本測試即時克隆,不足時再考慮專業克隆。
- 準備素材:專業克隆至少30分鐘單人高品質錄音,2小時以上通常更理想。
- 統一風格:訓練錄音應保持期望的語速、響度、環境和表達方式。
- 提交訓練:透過Dashboard或資料集與微調API創建專業聲音。
- 驗收聲音:測試人名、數字、情緒、長句、低頻詞和目標語言。
- 發布管控:限制訪問、記錄用途並在公開內容中按要求標註AI合成。
Line語音智能體成本控制
- 為每通電話設定最長時長、無聲超時和最大重試次數;
- 先在網頁或沙盒測試,再啟用付費電話號碼和外呼;
- 使用簡短系統提示和工具返回,降低大模型額外費用;
- 為STT、LLM、TTS和電話費用分別記錄,不只看總賬單;
- 對重複問答使用緩存或預生成語音,但避免播放過時資訊;
- 檢測機器人、語音信箱和無效號碼,盡早結束無價值通話;
- 對高風險操作增加人工確認,不讓語音Agent直接完成不可逆交易。
Cartesia適合哪些用戶
- 語音Agent開發者:構建客服、預約、銷售篩選和互動助手。
- 呼叫中心:使用即時轉寫、合成和電話功能處理大量對話。
- 遊戲與角色應用:生成低延遲、可控且有表現力的角色語音。
- 教育與無障礙產品:提供朗讀、聽寫、語音導航和多語言體驗。
- 媒體與創作者:製作旁白、本地化配音和經授權的品牌聲音。
- 企業開發團隊:透過API、SDK、MCP及企業部署接入語音基礎設施。
產品優勢
- Sonic、Ink和Line涵蓋語音輸入、輸出與完整智能體;
- 面向實時對話優化首包延遲、流式處理和回合檢測;
- 支援聲音克隆、轉換、本地化及專業發音控制;
- 所有套餐不限工作區席位,便於開發與業務協作;
- 提供Python、JavaScript、MCP和HTTP/WebSocket接口;
- 企業版提供SSO、合規協議、專屬支援及自訂併發數量。
使用限制與注意事項
- 套餐credits不能簡單等同固定分鐘,實際消耗受內容和任務影響;
- 實時語音品質取決於網路、音訊設備、編碼及端點參數;
- STT仍可能誤識別專有名詞、數字、口音和背景雜音;
- 專業克隆綁定訓練時的基礎模型,升級模型通常需要重新訓練;
- 舊模型存在下線週期,生產系統必須追蹤官方變更日誌;
- 語音智能體涉及電話與大模型額外費用,需要設定預算與限額;
- 聲音克隆不得用於冒充、詐騙、虛假代言或未經同意的身份複製。
安全、隱私與聲音合規
企業專案應確認資料處理地點、保留期限、日誌、子處理方以及錄音同意機制。在醫療、金融及其他受監管場景中,可參考DPA、BAA及相應的企業規範,但其適用性仍需以合約為準。
- 語音樣本、逐字稿和身份資訊應採用最小化收集與權限隔離;
- 為克隆聲音保存權利人、用途、地區、期限和撤銷記錄;
- API Key不得放在瀏覽器、行動端套件或公開倉庫;
- 對輸出添加合成標識,並提供轉人工和投訴渠道;
- 敏感通話不應在未經同意的情況下錄音、克隆或長期保存。
開源、SDK與MCP說明
Cartesia託管平台、Sonic、Ink和Line的核心模型並非開源產品,但官方已在GitHub上公開了Python SDK、JavaScript SDK、MCP Server以及部分Agent工具。JavaScript SDK採用Apache 2.0許可證,其他儲存庫則需分別查看其各自的許可證條款。
開源SDK僅是用於呼叫Cartesia API的客戶端,並不包含完整的模型與推理基礎設施。MCP可以透過官方托管的OAuth連線來使用,也可以在本地執行其原始碼,但實際的生成與轉譯仍需要帳戶及credits。
常見問題
Cartesia可以免費使用嗎
免費套餐每月提供20,000個點數,以及1美元的預付代理額度,可用於測試TTS與STT功能。而商業使用許可及即時聲音克隆功能則需從Pro版開始才能使用。
Cartesia Pro多少錢
官方定價頁面顯示的費用為每月5美元,其中包含100,000個點數以及5美元的Agent額度。實際的稅金及額外使用費用則需在控制台上另行結算。
即時聲音克隆和專業聲音克隆有什麼區別
即時克隆約需10秒樣本,Pro起可用;專業克隆至少需30分鐘高品質錄音,Startup起可用並消耗100萬credits訓練。
Cartesia支援中文嗎
Sonic目前版本支援多種語言,官方最新的模型文件顯示其原生支援42種語言。至於中文語音、地區設定以及模型效果,則需在Playground上進行實際測試。
Cartesia是開源的嗎
核心語音平台與模型並非開源產品,官方SDK與MCP等連接專案則開放了源碼。使用這些用戶端時仍會調用付費託管API。
桂公網安備45132202000164號