AI Test Automation Platform for Enterprise

Virtuoso QA是什麼

Virtuoso QA是SpotQA所推出的企業級AI原生測試自動化平台。它讓測試人員能以自然語言來撰寫可執行的測試用例，並透過智慧對象辨識、自動修復、雲端平行執行以及分析報告等功能，降低維護成本。

一句話介紹

Virtuoso QA適合那些需要進行大規模網路、API以及端到端回歸測試的企業團隊，尤其適用於那些維護成本高、發布頻繁，或是需要審計證據的專案。

核心功能

• 用自然語言編寫自動化測試步驟。
• 在編寫過程中實時執行和驗證。
• 透過AI識別頁面對象並自動修復定位。
• 把UI、API和資料庫檢查放入同一旅程。
• 可在Chrome、Edge、Firefox和Safari上運行。
• 透過雲端並行執行加快回歸測試。
• 生成截圖、影片、日誌和根因分析。
• 連接CI/CD、缺陷管理與測試管理工具。

自然語言測試編寫

• 用接近業務語言的步驟描述使用者操作。
• 減少直接編寫Selenium腳本的需求。
• 讓手工測試人員和業務分析師參與自動化。
• 支援選擇、輸入、點擊、驗證和導航等動作。
• 複雜對象仍可使用選擇器提示和擴展。
• 自然語言的清晰度會影響執行結果。

Live Authoring即時編寫

• 添加步驟時立即在目標應用執行。
• 快速發現對象名稱或數據不匹配。
• 減少先寫完整腳本再調試的反覆過程。
• 實時查看每個步驟的運行反饋。
• 應用回應慢會增加編寫等待時間。
• 真實環境中的副作用操作需要謹慎隔離。

智慧對象識別

• 綜合DOM、選擇器、標識和屬性定位元素。
• 根據自然語言提示尋找目標控件。
• 減少對脆弱XPath的依賴。
• 支援動態頁面中的對象識別。
• 相似按鈕和重複標籤可能造成誤選。
• 關鍵操作應使用明確提示和斷言。

自修復測試

• 應用UI變化後自動尋找替代對象。
• 減少因定位器變化產生的維護工作。
• 讓可組合模組適應常規應用升級。
• 官方宣稱對象識別和自修復準確率可達約95%。
• 自修復可能掩蓋本應報告的產品變化。
• 高風險流程應審查每次自動修復記錄。

AI測試生成

• 從需求、用戶故事或錄製流程生成場景。
• 自動創建測試步驟和斷言。
• 將手工測試案例轉換為回歸套件。
• 輔助遷移Selenium、Tosca和TestComplete資產。
• 生成結果仍要覆蓋業務邊界和異常路徑。
• Agentic Test Generation屬於可收費擴展。

Web功能測試

• 覆蓋表單、導航、搜尋和交易流程。
• 支援多標籤頁和框架切換。
• 處理Shadow DOM等現代Web結構。
• 對動態載入使用智慧等待。
• 適合SaaS、金融、零售和企業應用。
• 官方目前的重點是瀏覽器應用而非原生行動應用。

API測試

• 在端到端旅程中調用API。
• 驗證回應狀態、欄位和業務數據。
• 把API結果傳遞給後續UI步驟。
• 減少前端不可用時的測試阻塞。
• 組合UI與服務層檢查定位故障。
• 金鑰和令牌應使用安全變數管理。

資料庫驗證

• 在同一旅程中加入資料庫檢查。
• 驗證前端操作是否正確寫入後台。
• 對關鍵字段和狀態進行端到端核對。
• 資料庫帳號應只授予查詢權限。
• 避免運行高負載或無條件查詢。
• 生產數據測試需要脫敏和審批。

視覺與跨瀏覽器測試

• 在不同現代瀏覽器中執行相同旅程。
• 發現佈局、樣式和渲染差異。
• 結合功能斷言檢查用戶體驗。
• 支援Chrome、Edge、Firefox和Safari。
• 字體、動畫和動態內容可能造成視覺雜訊。
• 瀏覽器覆蓋矩陣應按真實使用者數據選擇。

雲端與並行執行

• Consumption會根據需求自動擴展雲端執行。
• Capacity提供5至100條並行執行通道。
• 發布高峰可增加臨時並行容量。
• 大型回歸套件可並發運行。
• 並行測試需要隔離帳號、數據和環境。
• 吞吐量仍受單條旅程時長和目標系統性能影響。

報告與根因分析

• 提供即時儀表板與執行趨勢。
• 保存步驟級截圖與運行證據。
• 結合網路、API、UI和日誌分析失敗。
• 用自然語言幫助定位故障原因。
• 為審計和發布審批保留追溯資訊。
• 根因建議需要工程師結合實際系統確認。

可組合測試

Composable Test Automation能將常見的業務流程轉換成可重複使用的模組，如此一來，團隊就能像組裝積木一樣，打造出端到端的解決方案。官網上列出了Dynamics 365、Salesforce、SAP、Oracle Cloud和Workday等預先建構好的模組。

• 復用登入、客戶建立和訂單等穩定流程。
• 在多個項目與環境中組合相同模組。
• 減少重複創建標準企業應用測試。
• 支援Dev、Test、UAT和Prod多實例。
• 自訂應用可另行建立資產庫。
• 模組變更需要版本控制與影響分析。

CI/CD與集成

• 連接GitHub和GitHub Actions。
• 支援Azure DevOps、Jenkins和GitLab。
• 可與Jira等缺陷系統集成。
• 在提交、拉取請求或部署後觸發測試。
• 透過API和Webhook訪問平台能力。
• 失敗的門禁系統需要區分產品缺陷與測試不穩定。

Virtuoso QA使用教學

創建第一條自然語言測試

1. 建立專案並設定目標應用程式地址。
2. 建立代表業務流程的Goal與Journey。
3. 用清晰自然語言添加操作步驟。
4. 透過Live Authoring即時運行每一步。
5. 增加結果、文本和狀態斷言。
6. 使用獨立測試數據重複執行。
7. 審核證據後加入回歸套件。

建立UI與API組合旅程

1. 確定端到端業務結果和測試邊界。
2. 先用API創建前置數據。
3. 在UI中完成用戶操作。
4. 調用API或資料庫驗證後台狀態。
5. 清理測試數據並恢復環境。
6. 為失敗步驟保存回應和截圖。
7. 在多個瀏覽器中並行運行。

接入CI/CD

1. 選擇關鍵且穩定的冒煙測試。
2. 創建最小權限的平台訪問憑證。
3. 在CI工具中配置安全變數。
4. 設定提交或部署後的觸發條件。
5. 定義超時、重試和失敗門檻。
6. 把報告連結回傳到建構結果。
7. 定期分析不穩定測試並修復根本原因。

適合哪些用戶

• 發布頻繁的企業Web應用團隊。
• 維護大量回歸測試的QA組織。
• 希望參與自動化的手工測試人員。
• 需要審計證據的金融、保險和醫療團隊。
• 遷移Selenium或傳統企業測試套件的組織。
• 測試Dynamics 365、SAP或Salesforce的團隊。
• 需要UI、API和資料庫統一旅程的工程團隊。

典型應用場景

• 每次發布自動運行關鍵回歸測試。
• 驗證跨系統訂單和客戶流程。
• 測試企業雲應用版本升級。
• 把手工案例快速轉成可執行旅程。
• 將舊Selenium測試遷移到AI原生平台。
• 跨瀏覽器驗證關鍵用戶體驗。
• 為合規發布保存可追溯測試證據。

不太適合哪些情況

• 主要測試原生iOS或Android應用。
• 只需少量簡單單元測試的個人專案。
• 無法接受雲端測試平台的組織。
• 預算不足以採購企業定製方案的團隊。
• 希望完全取消人工測試設計和審查。
• 要求平台完整源碼自行托管。

計費模型

Virtuoso QA官網目前提供Consumption與Capacity兩種訂閱模式，皆需提交需求以獲得定制報價。計費主要依據測試編寫用戶數量及執行容量，並非根據所建立的測試用例數量來收費。

兩種模型如何選擇

可選付費擴展

• Agentic Test Generation是依應用程式及測試量來計費的。
• Composable Test Automation是根據應用程式及資產庫的規模來計算費用的。
• 快速設定和測試案例創建可作為增強服務。
• 多應用入門和遷移支援可能另行收費。
• 企業治理、技術架構師和高級SLA屬於升級內容。
• 採購報價應明確基礎平台與擴展的邊界。

免費試用與驗證

• 官網提供兩週免費試用入口。
• 也提供無需操作完整環境的互動演示。
• 企業可申請Proof of Value驗證。
• 試用應覆蓋真實應用和關鍵業務旅程。
• 同時記錄編寫速度、維護時間和執行穩定性。
• 試用結束前確認數據和測試資產如何處理。

合同與退出

• 標準合約期限為12個月。
• 多年合約可能獲得期限或容量優惠。
• 增加用戶和容量可按預先結構擴展。
• 退出時官方稱可協助導出測試資產。
• 導出格式與遷移可執行性應在採購前測試。
• 退款、提前終止和降級條件以合約為準。

如何評估總成本

• 統計編寫用戶和只讀審查用戶數量。
• 估算每日執行次數和峰值並行度。
• 區分冒煙、回歸和跨瀏覽器矩陣。
• 加入Agentic或Composable的擴展成本。
• 計算遷移、培訓和測試數據治理投入。
• 以減少維護時間和發布週期來衡量回報。
• 避免只按測試數量比較不同平台。

安全與部署

Virtuoso QA為AWS託管SaaS服務，並提供Secure Bridge功能，以便在私有網路中執行測試。據官方說明，該服務已通過SOC 2 Type II認證，能夠實現角色訪問控制、加密資料處理、審計日誌記錄以及安全網路配置等功能。

• 採購前申請最新SOC報告與適用範圍。
• 使用SAML SSO接入企業身份系統。
• 為項目、環境和用戶設定最小權限。
• 敏感內網應用透過Secure Bridge評估連接。
• 密鑰和測試數據使用安全變數。
• 定期審查日誌、成員和外部整合。

測試數據與隱私

• 使用合成或脫敏測試數據。
• 不要把真實密碼寫進自然語言步驟。
• 為不同並行測試分配獨立帳號。
• 運行後清理訂單、用戶和其他測試記錄。
• 截圖和影片可能擷取個人或機密資訊。
• 設定證據保留和訪問期限。
• 受監管項目應審核跨境處理和分包商。

AI與自修復風險

• AI可能選擇視覺相似但含義不同的控件。
• 自修復可能讓錯誤流程繼續執行。
• 自動生成的斷言可能不足以發現業務缺陷。
• 根因分析可能只是相關性推斷。
• 高風險流程需要人工審查修改記錄。
• 模型表現應使用團隊自己的應用長期驗證。

自動化測試邊界

• 自動化適合重複且結果明確的流程。
• 探索式測試仍需要人的觀察和判斷。
• 可用性與情感體驗不能只靠腳本驗證。
• CAPTCHA和雙重認證需要專門的測試策略。
• 第三方依賴可能導致非產品原因失敗。
• 測試通過不代表系統沒有其他缺陷。

產品優勢

• 自然語言編寫降低自動化門檻。
• Live Authoring提供即時驗證。
• 智慧對象識別與自修復減少維護。
• UI、API和資料庫驗證可以統一編排。
• 支援跨瀏覽器及雲端並行執行。
• 報告、證據和根因分析適合企業治理。
• 具備企業應用可組合的資產庫。
• 支援CI/CD、API、Webhook和Secure Bridge。

產品限制

• 官網沒有公開固定價格。
• 標準合約期為12個月。
• Agentic和Composable能力可能額外收費。
• 主要覆蓋Web和API而非原生行動應用。
• 複雜場景仍需選擇器、擴展和工程能力。
• AI自修復可能掩蓋真實變化。
• 遷移大型舊套件需要實施投入。
• 雲端執行和證據會帶來數據治理要求。
• 平台不是可自行部署的開源框架。

API與擴展

Virtuoso提供平台API、Webhook以及語言擴展庫，可用於觸發執行、整合各種工具，並補充自然語言無法處理的操作。具體的API權限、流量限制以及擴展功能的支持範圍，則需參考訂閱服務的相關說明與官方文件。

GitHub與開源狀態

Virtuoso可以與GitHub及GitHub Actions整合，但這並不代表該產品本身是開源的。目前還沒有可以在SpotQA官網上查到的、完整的Virtuoso平台源代碼庫，因此應將其視為封閉式的企業級SaaS產品。

基本資訊

推薦指數

推薦指數：4.6 / 5。Virtuoso QA在自然語言編寫、自修復、組合任務以及企業治理功能方面表現優異，非常適用於大規模的Web回歸測試；不過其定製價格、年度合約條款、擴充功能所需的費用，以及對原生行動應用程式的測試能力，都需要在採購前進行仔細驗證。

常見問題

Virtuoso QA需要寫代碼嗎？

基礎測試可用自然語言創建，複雜對象和特殊邏輯可能需要選擇器或擴展。

Virtuoso QA多少錢？

官網未公開固定價格，Consumption和Capacity都需要根據用戶和執行容量询价。

有免費試用嗎？

有，官網提供兩週免費試用、互動示範及企業價值證明。

支援哪些瀏覽器？

支援Chrome、Edge、Firefox和Safari等現代瀏覽器。

支援API測試嗎？

支持，可把API調用、UI操作和資料庫驗證放入同一端到端旅程。

支援原生行動應用嗎？

官方目前的重點是瀏覽器與API測試，並未將原生行動測試列為核心能力。

可以接入CI/CD嗎？

可以，支援GitHub、Azure DevOps、Jenkins、GitLab等工具。

測試會自動修復嗎？

可以自動適應常見對象變化，但關鍵流程仍應審查修復記錄。

可以導出測試資產嗎？

官網稱退出時可協助導出多種格式，具體可遷移性應在簽約前驗證。

Virtuoso QA是開源的嗎？

不開源，GitHub集成不代表平台源碼開放。