Cartesia
免費增值
AI工具大全 AI音頻工具

Cartesia

面向實時語音智能體的低延遲生成式音頻平台

標籤:

笛卡兒是什麼

Cartesia是一個面向開發者與企業的即時語音AI平台,其主要產品包括Sonic文字轉語音、Ink語音辨識以及Line語音智慧體。該平台強調低延遲的流式處理方式,因此很適用於需要自然對話以及快速回應的應用場景。

開發者可以透過 Playground、API、Python 或 JavaScript SDK 以及 MCP 來使用語音功能。除了語音合成與轉錄之外,Cartesia還提供聲音克隆、聲音轉換、本地化、發音詞典以及企業級部署相關服務。

Cartesia主要功能

  • Sonic TTS:將文本即時轉換為自然語音,並流式返回音頻。
  • Ink STT:為即時對話轉寫語音,處理雜音、口音、電話音質和結構化數據。
  • 語義端點檢測:根據說話含義判斷一輪何時結束,減少只按靜音觸發的誤判。
  • 即時聲音克隆:使用約10秒清晰樣本快速創建聲音,Pro套餐起可用。
  • 專業聲音克隆:用30分鐘以上單人錄音微調模型,Startup套餐起可用。
  • Voice Changer:保留原音頻語調與節奏,將說話聲音替換為另一音色。
  • 聲音本地化:將現有聲音適配到其他語言或方言。
  • 發音詞典:透過自訂讀音和音素處理品牌、人名、藥名及專業術語。
  • 情緒與控制:按模型能力調整速度、音量、情緒、停頓和表達。
  • Line Agents:組合語音輸入、語音輸出、模型和電話能力搭建即時智能體。
  • API與SDK:為Python、JavaScript以及其他HTTP/WebSocket應用提供介面。
  • MCP:讓相容的AI用戶端直接運行TTS、STT、聲音管理及用量查詢。

Sonic、Ink與Line對比

產品主要輸入主要輸出適合場景
Sonic文本、聲音與表達參數實時或檔案語音旁白、客服、遊戲角色和語音界面
Ink實時或錄製音頻逐步與最終轉寫、回合事件語音Agent、電話、會議和聽寫
Line用戶語音與Agent工作流完整語音對話和電話互動客服、預約、篩選和自動外呼

Cartesia套餐價格對比

以下為官方定價頁面所顯示的每月美元費用,所有套餐皆支援無限工作區席位。Credits與Agent的使用時間會分別計費,至於稅金、預付餘額及企業折扣則以控制台上的結算頁面為準。

套餐價格月度credits預付Agent額度核心權益
Free0美元/月20,0001美元/月TTS、STT和基礎試用
Pro5美元/月100,0005美元/月商業使用許可與即時聲音克隆
Startup49美元/月1,250,00049美元/月專業聲音克隆與組織
Scale299美元/月8,000,000299美元/月優先支援與更高併發
Enterprise訂製訂製訂製規模折扣、SSO、DPA、BAA和專屬支援

套餐容量與併發對比

套餐約含TTS分鐘約含STT時長TTS併發STT/Agent併發
Free約27分鐘約1小時51分鐘28
Pro約133分鐘約9小時16分鐘312
Startup約1667分鐘約115小時44分鐘520
Scale約10667分鐘約740小時44分鐘1560
Enterprise訂製訂製訂製訂製

以上分鐘數是官方根據現行標準模型換算出的近似值,並非固定承諾。文本預處理、模型、聲音、靜音、端點、專業克隆以及不同的音頻任務都會影響實際耗用時間。

Credits與額外計費規則

  • 標準TTS:通常每個字元約消耗1 credit,預處理可能造成小幅差異。
  • 專業克隆TTS:約每字元1.5 credits,比標準語音高50%。
  • 即時克隆TTS:按標準TTS費率計算,不加專業克隆倍率。
  • 專業克隆訓練:成功訓練一次消耗1,000,000 credits。
  • 重新訓練:更換基礎模型或訓練數據需要再次支付訓練credits。
  • Voice Changer:按輸入音頻每秒15 credits計費。
  • 聲音本地化:一次性消耗225 credits。
  • Line Agent:通話0.06美元/分鐘,使用平台號碼另加0.014美元/分鐘。
  • STT:按模型、批次處理或即時端點以及音頻時長計費,靜音也計入。

文字轉語音接入教學

  1. 創建密鑰:在Playground生成API Key,並按環境拆分開發、測試和生產。
  2. 選擇模型:優先使用當前穩定的Sonic版本,不要把舊模型ID永久寫死。
  3. 選擇聲音:按語言、角色、場景和語速試聽聲音庫候選。
  4. 格式化文本:補充標點、日期、時間、停頓和自訂發音。
  5. 採用流式:即時對話使用WebSocket或流式輸出,盡早播放首段音頻。
  6. 處理連續性:長內容分塊時使用連續生成能力,減少段落音色和節奏跳變。
  7. 監控品質:記錄延遲、失敗率、credits和用戶中斷,逐步優化參數。

Ink即時轉寫接入教學

  1. 確認音頻編碼、採樣率、聲道和傳輸協議符合即時介面要求。
  2. 在發送音頻前連接WebSocket,並為斷線、重連和超時設計狀態機。
  3. 區分中間轉寫和最終轉寫,不要把未穩定文本直接寫入業務記錄。
  4. 監聽turn.start、turn.end和eager_end等事件,協調大模型與TTS響應。
  5. 為電話號碼、日期、電子郵件、貨幣、產品名稱及行業術語建立測試集。
  6. 在電話雜音、背景雜音、不同口音和沉默條件下進行真實評估。
  7. 記錄音頻時長、延遲、錯誤率及每次請求成本,設定用量告警。

聲音克隆教學

  1. 確認同意:僅克隆本人聲音,或取得聲音權利人的明確書面授權。
  2. 選擇類型:先用約10秒樣本測試即時克隆,不足時再考慮專業克隆。
  3. 準備素材:專業克隆至少30分鐘單人高品質錄音,2小時以上通常更理想。
  4. 統一風格:訓練錄音應保持期望的語速、響度、環境和表達方式。
  5. 提交訓練:透過Dashboard或資料集與微調API創建專業聲音。
  6. 驗收聲音:測試人名、數字、情緒、長句、低頻詞和目標語言。
  7. 發布管控:限制訪問、記錄用途並在公開內容中按要求標註AI合成。

Line語音智能體成本控制

  • 為每通電話設定最長時長、無聲超時和最大重試次數;
  • 先在網頁或沙盒測試,再啟用付費電話號碼和外呼;
  • 使用簡短系統提示和工具返回,降低大模型額外費用;
  • 為STT、LLM、TTS和電話費用分別記錄,不只看總賬單;
  • 對重複問答使用緩存或預生成語音,但避免播放過時資訊;
  • 檢測機器人、語音信箱和無效號碼,盡早結束無價值通話;
  • 對高風險操作增加人工確認,不讓語音Agent直接完成不可逆交易。

Cartesia適合哪些用戶

  • 語音Agent開發者:構建客服、預約、銷售篩選和互動助手。
  • 呼叫中心:使用即時轉寫、合成和電話功能處理大量對話。
  • 遊戲與角色應用:生成低延遲、可控且有表現力的角色語音。
  • 教育與無障礙產品:提供朗讀、聽寫、語音導航和多語言體驗。
  • 媒體與創作者:製作旁白、本地化配音和經授權的品牌聲音。
  • 企業開發團隊:透過API、SDK、MCP及企業部署接入語音基礎設施。

產品優勢

  • Sonic、Ink和Line涵蓋語音輸入、輸出與完整智能體;
  • 面向實時對話優化首包延遲、流式處理和回合檢測;
  • 支援聲音克隆、轉換、本地化及專業發音控制;
  • 所有套餐不限工作區席位,便於開發與業務協作;
  • 提供Python、JavaScript、MCP和HTTP/WebSocket接口;
  • 企業版提供SSO、合規協議、專屬支援及自訂併發數量。

使用限制與注意事項

  • 套餐credits不能簡單等同固定分鐘,實際消耗受內容和任務影響;
  • 實時語音品質取決於網路、音訊設備、編碼及端點參數;
  • STT仍可能誤識別專有名詞、數字、口音和背景雜音;
  • 專業克隆綁定訓練時的基礎模型,升級模型通常需要重新訓練;
  • 舊模型存在下線週期,生產系統必須追蹤官方變更日誌;
  • 語音智能體涉及電話與大模型額外費用,需要設定預算與限額;
  • 聲音克隆不得用於冒充、詐騙、虛假代言或未經同意的身份複製。

安全、隱私與聲音合規

企業專案應確認資料處理地點、保留期限、日誌、子處理方以及錄音同意機制。在醫療、金融及其他受監管場景中,可參考DPA、BAA及相應的企業規範,但其適用性仍需以合約為準。

  • 語音樣本、逐字稿和身份資訊應採用最小化收集與權限隔離;
  • 為克隆聲音保存權利人、用途、地區、期限和撤銷記錄;
  • API Key不得放在瀏覽器、行動端套件或公開倉庫;
  • 對輸出添加合成標識,並提供轉人工和投訴渠道;
  • 敏感通話不應在未經同意的情況下錄音、克隆或長期保存。

開源、SDK與MCP說明

Cartesia託管平台、Sonic、Ink和Line的核心模型並非開源產品,但官方已在GitHub上公開了Python SDK、JavaScript SDK、MCP Server以及部分Agent工具。JavaScript SDK採用Apache 2.0許可證,其他儲存庫則需分別查看其各自的許可證條款。

開源SDK僅是用於呼叫Cartesia API的客戶端,並不包含完整的模型與推理基礎設施。MCP可以透過官方托管的OAuth連線來使用,也可以在本地執行其原始碼,但實際的生成與轉譯仍需要帳戶及credits。

常見問題

Cartesia可以免費使用嗎

免費套餐每月提供20,000個點數,以及1美元的預付代理額度,可用於測試TTS與STT功能。而商業使用許可及即時聲音克隆功能則需從Pro版開始才能使用。

Cartesia Pro多少錢

官方定價頁面顯示的費用為每月5美元,其中包含100,000個點數以及5美元的Agent額度。實際的稅金及額外使用費用則需在控制台上另行結算。

即時聲音克隆和專業聲音克隆有什麼區別

即時克隆約需10秒樣本,Pro起可用;專業克隆至少需30分鐘高品質錄音,Startup起可用並消耗100萬credits訓練。

Cartesia支援中文嗎

Sonic目前版本支援多種語言,官方最新的模型文件顯示其原生支援42種語言。至於中文語音、地區設定以及模型效果,則需在Playground上進行實際測試。

Cartesia是開源的嗎

核心語音平台與模型並非開源產品,官方SDK與MCP等連接專案則開放了源碼。使用這些用戶端時仍會調用付費託管API。

©️版權聲明:若無特殊說明,本站所有文章版權均歸AI工具分享本網站的內容為原創作品,任何人或機構在未獲許可的情況下,都不得轉載、抄襲或以其他方式複製並發表本網站的內容,亦不得在非本網站所屬的伺服器上建立其鏡像版本。否則,本網站將依法追究相關責任人的法律責任。

類似於Cartesia的工具