通義聽悟是什麼?
通義聽悟是阿里雲推出的音視頻轉寫與內容理解服務,依托千問大模型和語音、視頻AI能力,把會議、訪談、課程、培訓、路演和錄播內容轉換為可搜尋的文字,並生成摘要、章節、發言總結、待辦事項、關鍵詞和問答結果。
產品分為面向個人的通義聽悟應用,以及面向企業的阿里雲聽悟API。個人用戶可透過網頁、釘釘小程式和瀏覽器插件來使用;
企業可把即時轉寫、檔案分析與翻譯接入OA、IM、CRM、教育、媒資庫和客服系統。
核心功能
1. 實時錄音轉文字
即時記錄所接收的麥克風或音頻流,在會議進行過程中回傳識別出的文字,並可同步產生後續的 AI 分析。官方性能文件所給出的延遲時間約為 300 毫秒,實際情況則會受到網路、音頻品質、語言以及模型等因素的影響。
實時介面最多支援三路音頻輸入,可用於區分不同聲道。說話人分離只能識別「不同發音人」,無法自動知道誰是客戶、領導或具體姓名,會後需要人工重命名。
2. 音視頻文件轉寫
上傳或提交已經錄製的音頻、影片後,系統會在離線狀態下產生逐字稿與時間戳。音頻格式支援MP3、WAV、M4A、WMA、AAC、OGG、AMR、FLAC和AIFF;
影片格式支援MP4、WMV、M4V、FLV、RMVB、DAT、MOV、MKV、WEBM、AVI、MPEG、3GP和OGG。
單個檔案的大小不得超過6GB,且長度不得超過6小時。API會透過公網上可存取的檔案地址來讀取素材,而不會直接接收本地的檔案路徑。
帶有有效期的簽名地址建議至少保持3小時有效,以免任務排隊時失效。
3. 多語種識別
文件與即時服務支援中文、英文、粵語、日語、韓語,以及中文、英文、日語、韓語、粵語、德語、法語和俄語自由說等模式。具體組合取決於採樣率、即時或離線接口。
多人同時說話、方言、遠端迴聲、雜音、專業術語以及錄音過載,都會降低準確率。重要的會議應使用獨立麥克風、清晰的音訊通道以及術語表,並在發布記錄之前校對原始音訊。
4. 即時與離線翻譯
通義聽悟可在中、英、日、韓、德、法、俄語之間進行實時雙向翻譯,也支援音視頻文件離線翻譯。中英自由說可翻譯為中文、英文或同時輸出中英文。
翻譯費用與轉寫費用會合併計算,若需以目標語言輸出兩份內容,也將按兩份收取費用。人名、術語、數字及法律相關表述必須由母語者或專業人員審核。
5. 章節速覽與全文摘要
系統根據話題變化將長音訊劃分為章節,為每個章節生成主題與定位,並形成全文摘要。用戶可點擊時間點返回原音核對,適合快速瀏覽長會議與課程。
摘要是模型對轉寫文本的壓縮,識別錯誤會傳遞到總結中。不能只讀摘要就做財務、法律、人事或客戶承諾決策。
6. 發言總結、待辦與關鍵字
發言總結會依據發言者歸納觀點,待辦事項則會標明負責人、任務與時間,關鍵詞與重點內容則有助於搜尋。將口語轉為書面語時,可去除重複內容與語氣詞,從而形成更易閱讀的紀要。
模型可能將討論建議誤判為已確認的任務,也有可能忽略否定詞。待辦事項必須由會議參與者確認,並同步到正式的專案管理系統中。
7. 問答回顧與自訂Prompt
使用者可以對已轉寫的內容提出問題,讓系統找出相關段落並給出答案。企業API還支援自訂提示語,從對話中提取特定資料或產生自訂摘要。
一次提交多個Prompt會分別計費。提示詞應規定輸出結構、缺失值和引用時間點,並限制模型只能依據音視頻內容回答,減少無依據補充。
8. 思維導圖
通義聽悟可將音視頻主題與層級關係整理為思維導圖,適合課程複習、會議結構和訪談梳理。導圖是自動概括結果,複雜論證仍應結合逐字稿閱讀。
9. 視頻PPT提取與摘要
對於包含演示文稿的影片,系統可以抽取PPT畫面並生成講解總結。支援全PPT或講課模式,每小時的影片通常約需2至5分鐘處理,最多可提取200張PPT。
該功能要求PPT處於影片的主要區域,人物不能長時間在投影畫面前走動或遮擋。小字、動畫和頻繁切換可能影響抽取品質。
10. 服務品質檢測與對話內容提取
企業API可提供服務品質檢測及對話內容提取功能,用於銷售、客戶服務、訪談以及呼叫中心分析。企業應事先取得錄音及自動分析的授權,並向員工與客戶明確說明相關規定。
個人版使用方式
個人用戶可使用手機號碼登入通義聽悟應用,透過麥克風錄製、上傳音訊與影片、導入阿里雲盤的檔案,並查看轉寫內容、摘要及其他 AI 處理結果。釘釘小程式和瀏覽器插件則適用於會議與網頁使用場景。
個人應用的免費額度及會員規則可能與阿里雲開發套件不同。目錄中的API試用與計費不能直接等同於消費端會員價格,實際以個人應用購買頁面為準。
API接入
企業需在阿里雲控制台開通聽悟、建立專案並取得Appkey,同時設定RAM權限、OSS結果儲存以及回呼方式。離線任務支援輪詢或HTTP、RocketMQ回呼;
建立任務的預設使用者級QPS為20,查詢任務狀態與結果的QPS為100。
離線轉寫通常在3小時內完成,但若一次提交大量檔案,且錄音時間超過500小時的話,則除外。企業還需處理簽名地址過期、格式錯誤、流量限制、回呼重試以及結果持久化等問題。
免費試用
新開通API服務的用戶可免費試用90天。試用期內,實時記錄每天48小時額度、併發2路;
音視頻檔案記錄每天2小時、並發1路;麥克風測試不受時長限制。
當日額度用完後需等待24小時刷新。
免費試用結束或升級到商業版後,將改為按使用時間計費。應設定預算、餘額及用量警報,以避免因持續的音頻流傳輸或錯誤重試而產生不必要的費用。
價格與版本對比
| 套餐或版本 | 價格、額度與核心權益 |
|---|---|
| 新版API價格 | 截至2026年8月,官方新版接口標準價格為:實時會議轉寫0.6元/小時,音視頻文件轉寫0.6元/小時,二者均包含說話人分離功能,文件轉寫還包含自動語種識別。章節速覽、全文摘要、發言總結、問答回顧、思維導圖、待辦事項、關鍵詞、重點內容、口語書面化以及每個自定義Prompt,均按每項0.064元/小時獨立計費。若同時使用兩項功能,則費用為0.128元/小時,若還有更多Prompt,則費用會繼續累加。服務品質檢查或對話內容提取的費用為0.13元/小時;影片或PPT的轉錄及摘要製作費用為0.64元/小時;實時翻譯的費用為4元/小時;離線翻譯的費用則為0.5元/小時。轉寫、翻譯以及大模型功能可同時使用,費用會相加。例如,一小時內的單路實時轉寫加上一種目標語言的實時翻譯,費用為0.6元加上4元,即4.6元;若需同時將中英文翻譯成中文和英文,則費用為0.6元加上4元乘以2,即8.6元。多路輸入的情況下,費用則根據實際有轉寫結果的音頻時長來計算,若為無聲或純噪音的音頻,在特定情況下也會產生費用。 |
| 舊版介面價格 | 舊版介面價格明顯更高,官方建議遷移至新版。舊版即時記錄的標準價格為10.5元/小時、檔案記錄為9.5元/小時、即時翻譯則為8元/小時,且會根據每日使用量逐漸降低;離線翻譯的舊版價格則約在0.5至0.9元/小時之間。 新專案應優先確認所使用的為新版介面。 |
新版API價格
截至2026年8月,官方新版接口標準價格為:即時會議轉寫0.6元/小時,音視頻文件轉寫0.6元/小時,均包含說話人分離,文件轉寫還包含自動語種識別。
章節速覽、全文摘要、發言總結、問答回顧、思維導圖、待辦、關鍵字、重點內容、口語書面化以及每個自定義Prompt,均按每項0.064元/小時獨立計費。啟用兩項則為0.128元/小時,更多Prompt則繼續疊加計費。
服務品質檢測或對話內容提取為0.13元/小時;影片PPT提取並加摘要為0.64元/小時;
實時翻譯4元/小時;離線翻譯0.5元/小時。
轉寫、翻譯和大模型功能會疊加。
例如一小時單路實時轉寫加一種目標語言實時翻譯為0.6加4元,即4.6元;中英自由說同時翻譯為中文和英文則為0.6加4乘2,即8.6元。
多路輸入依實際有轉寫結果的音頻時長計費,無聲或純噪音流在特定情況下也會產生費用。
舊版介面價格
舊版介面價格明顯更高,官方建議遷移至新版。舊版實時記錄標準價為10.5元/小時、檔案記錄9.5元/小時、實時翻譯8元/小時,並會依照每日用量階梯性下降;
離線翻譯舊版按階梯約0.5至0.9元/小時。
新專案應優先確認調用的是新版介面。
數據與隱私
會議、面試、課程以及與客戶的通話中,可能包含個人資訊和商業機密。企業必須取得錄音、轉寫及 AI 分析所需的授權,同時限制對 OSS、RAM、回調及結果檔案的存取,並設定其保存與刪除的週期。
服務協議說明:當國家機關依法查詢或調閱數據時,阿里雲必須依法予以配合。高度敏感的行業應結合阿里雲的安全文件、合約、地區規定以及自身的合規要求來進行評估。
支援平台
- Web個人應用;
- 釘釘小程序;
- 瀏覽器插件;
- 阿里雲盤音視頻導入;
- 阿里雲控制台與HTTP API;
- 透過SDK或介面接入企業系統。
開源狀態
通義聽悟產品與雲端轉寫服務並非開源專案。阿里雲可能會提供SDK、範例代碼或相關的開源模型,但這並不代表聽悟的語音識別、轉寫及內容理解平台可以自行完整部署。
通義聽悟使用教學
完成一次基礎任務
- 確認錄音、聲音、音樂及參與者授權;
- 把清晰音頻上傳或錄入通義聽悟;
- 選擇語言、說話人及即時錄音轉文字等處理設定;
- 使用音視頻文件轉寫生成轉錄、配音或清理結果;
- 逐段檢查姓名、數字、停頓、音量與情緒;
- 導出前確認格式、響度、版權和隱私要求;
建立可重複使用的專業工作流
- 用真實噪聲、口音和多人片段建立測試集;
- 比較即時錄音轉文字、音視頻檔案轉寫和多語種識別的處理差異;
- 保留原始錄音和未經修改的轉錄;
- 對外發布前安排人工聽審;
- 統計處理時長、錯誤率及額度消耗;
- 定期更新術語表、聲音授權和刪除策略;
適合哪些用戶?
- 整理會議、訪談、面試和客戶拜訪的個人;
- 為課程生成字幕、章節和複習摘要的師生;
- 處理錄播、播客、路演和媒體素材的團隊;
- 需要即時多語會議翻譯的組織;
- 將轉寫與品質檢查整合到OA、CRM和客服系統的企業;
- 需要批量分析媒資庫音視頻的開發者。
產品優勢
- 轉寫、翻譯、總結、問答和PPT提取一體化;
- 支援即時串流和離線檔案兩種模式;
- 多語種與中英日韓粵德法俄自由說能力豐富;
- 個人應用與企業API均有入口;
- 新版介面價格透明,並可按功能組合。
限制與注意事項
- 識別準確率取決於音質、口音、雜音以及多人同時說話的情況;
- 任何重要逐字稿都要回聽校對;
- 大模型能力按項目疊加計費,自訂多個Prompt也會多次收費;
- 實時翻譯成本明顯高於轉寫,應預估路數、語言和時長;
- 會議轉寫涉及參與者隱私和商業秘密,必須先告知並取得授權,不能秘密錄音或無限期保存;
常見問題
通義聽悟免費嗎?
個人應用提供免費使用入口;API新用戶可試用90天,實時記錄每天48小時、檔案每天2小時,結束後按量計費。
單個檔案最大多大?
離線音視頻檔案最大6GB、最長6小時,支援多種常見音頻和視頻格式。
能識別不同說話人嗎?
可以分離不同發音人,但無法自動識別真實身份,需要會後修改姓名。
通義聽悟API多少錢?
新版轉寫0.6元/小時,單項大模型分析0.064元/小時,PPT提取摘要0.64元/小時,即時翻譯4元/小時,離線翻譯0.5元/小時。
通義聽悟支援API嗎?
支持,企業可接入實時記錄、文件轉寫、翻譯、摘要、品質檢查和PPT提取,並透過回調或輪詢獲取結果。
通義聽悟開源嗎?
不開源。它是阿里雲商業應用與API服務,公開SDK或千問開源模型不等於聽悟平台開源。
桂公網安備45132202000164號