BaseRock AI

BaseRock AI是什麼

BaseRock AI是一個專為開發、測試及品質管理團隊所設計的Agent型QA平台。它能夠讀取原始碼、產品需求、Jira工單以及相關的接口資料，進而自動找出服務端點，並生成可執行的測試用例與操作手冊。

平台目前的重點是 Business Use Case Testing，簡稱 BUCT。它不僅會判斷介面是否傳回成功狀態，還會驗證註冊、訂單、支付、庫存、發票和通知等跨服務流程是否真實達成了預期的業務結果。

BaseRock適合哪些團隊

• 後端開發團隊：從代碼自動發現介面並生成整合測試。
• QA自動化團隊：減少測試腳本編寫與維護的工作量。
• 微服務團隊：驗證跨多個服務的端到端業務流程。
• AI編程團隊：為快速生成和修改的代碼建立品質護欄。
• 平台工程團隊：將測試套件加入CI/CD與發布流程。
• 金融與電商團隊：重點保護支付、訂單和收入鏈路。
• 合規要求較高的企業：在私有環境中執行並保留審計結果。
• 擁有遺留系統的團隊：在不重寫全部測試框架的情況下擴展覆蓋範圍。

主要功能

• 代碼發現：掃描代碼庫並識別API端點、Schema和依賴關係。
• 集成測試生成：根據服務代碼、說明文件和提示自動創建用例。
• 業務用例測試：從PRD或BRD中提取業務流程及期望結果。
• Playbook生成：將自然語言測試意圖轉換為可執行步驟。
• 本地Agent執行：在客戶機器、VPC或工作節點運行測試。
• 跨服務編排：按業務順序調用多個微服務並驗證整體結果。
• 測試維護：代碼和需求變化後自動調整測試。
• 人工複核：執行前查看並編輯AI生成的具體動作。
• CI/CD整合：可依據冒煙測試、回歸測試、標籤或端點來執行測試套件。
• 集中報告：從用例和業務流程兩個層級查看結果。

商業用例測試是什麼

傳統的測試通常只檢查單個介面、狀態碼和架構是否正常，但可能會忽略跨服務之間的邏輯錯誤。BUCT則將產品需求與程式碼實作相連結，持續監控那些真正會影響客戶滿意度、收入以及合規性的業務結果。

BaseRock的工作流程

支援的資料來源

• GitHub、GitLab與Bitbucket代碼倉庫。
• 開發者在本地電腦中的原始碼。
• PRD、BRD與純文本業務規則。
• Jira工單、Confluence、Notion等需求系統。
• API說明、請求回應範例和介面規範。
• MCP伺服器提供的Atlassian、MongoDB等外部上下文。
• 測試人員直接輸入的自然語言說明。

代碼與倉庫連接

• GitHub Cloud：透過OAuth授權來讀取代碼。
• GitLab：支援OAuth登入及倉庫連線。
• Bitbucket Cloud：可用作遠端程式碼來源。
• Bitbucket資料中心：文件被列為支援方式。
• 本地代碼：即使不連接遠端倉庫，也能建立服務。
• 首次OAuth連接通常需要倉庫管理員批准。
• 官方文件說明遠端原始碼權限為只讀。

支援的程式設計語言與架構

官方文件指出，它能夠連接 Java、Python、Go 或其他主要語言所編寫的程式碼庫，其重點在於從路由、控制器及服務結構中找出相關的介面。此平台同時適用於微服務與單體應用程式。

介面與協議測試

• REST：依據方法、路徑、請求體及回應規則來產生測試。
• GraphQL：可作為Agent執行套件的協議類型。
• Kafka：可在套件中按協議篩選和執行。
• 多步驟介面：保存前序回應變數並傳遞給後續步驟。
• 認證前置：在正式測試前執行登入或Token獲取。
• 清理後置：測試完成後刪除生成的數據或恢復環境。
• 動態值：處理ID、時間戳以及運行過程中產生的變數。

如何開始使用BaseRock

1. 聯絡BaseRock銷售以申請帳戶及控制平面訪問權限。
2. 選擇SaaS控制平面或企業自託管部署。
3. 邀請團隊成員並設定專案角色。
4. 配置OpenAI、Anthropic、Azure、Bedrock或Vertex的模型密鑰。
5. 透過OAuth連接代碼倉庫，或準備本地代碼。
6. 添加第一個服務並確認發現的端點。
7. 按需上傳接口規範、PRD或BRD增加業務上下文。
8. 安裝並啟動BaseRock Agent，再在測試環境運行少量用例。
9. 複核生成步驟和結果後加入CI/CD流程。

自帶大模型密鑰

BaseRock採用Bring Your Own LLM模式，企業需要提供受支援模型服務的API金鑰。平台會利用該模型來理解程式碼、需求及業務背景，並以此生成測試用例與操作指南。

如何接入第一個服務

1. 在控制平面點擊添加服務。
2. 選擇倉庫與目標分支，或使用本地源代碼。
3. 為單體專案指定模組代碼路徑、路由或控制器。
4. 檢查系統發現的端點與跨服務依賴。
5. 可選上傳不超過10MB的TXT或PDF接口說明。
6. 提供領域提示，或讓平台根據代碼自動生成測試。
7. 補充環境地址、認證、上下文變數和資料清理規則。
8. 生成Playbook後逐步檢查具體動作。

集成測試生成

• 從源代碼推斷端點、參數、請求和回應結構。
• 結合可選規範文件識別額外規則與示例。
• 根據領域提示補充業務邊界和驗證要求。
• 為正常路徑、邊界條件和錯誤輸入生成用例。
• 建立認證、資料準備和清理步驟。
• 將自然語言Playbook轉換為確定性執行動作。
• 在服務級報告中查看單個介面與測試結果。

業務用例測試流程

1. 在Business Flows區域中，建立需要保護的業務流程。
2. 上傳TXT或PDF格式的BRD、PRD或業務規則。
3. 讓AI從文件中提取具體業務用例。
4. 將每個用例關聯到已經接入的服務。
5. 將業務用例映射到介面測試並補充驗證步驟。
6. 生成覆蓋正常、邊界和負面場景的業務Playbook。
7. 由本地Agent跨服務執行完整流程。
8. 從Test Case View和Use Case View分別查看結果。

業務流程示例

Playbook是什麼

Playbook是一種以英語描述的結構化測試程序，AI會將自然語言形式的步驟轉換成可執行的工作流程。一個Playbook通常包含準備、執行和清理三個階段。

• 服務級Playbook：針對一個服務的一組測試。
• 端點級Playbook：圍繞單個介面組織驗證。
• 測試用例Playbook：執行特定的正常或異常場景。
• 業務流程Playbook：跨多個服務驗證最終業務結果。
• 狀態包括處理中、就緒和錯誤。
• 可透過自然語言調整，也能直接編輯請求和邏輯。

人工複核與可編輯性

• 執行前查看AI推斷的全部動作步驟。
• 檢查目標介面、請求頭、負載和參數。
• 確認回應變數如何保存並傳遞。
• 核對狀態碼、Schema和業務斷言。
• 透過自然語言修改Playbook並保持意圖同步。
• 必要時在工作流介面直接修改負載和邏輯。
• 高風險環境必須經過人員批准後運行。

BaseRock Agent

BaseRock Agent運行在客戶端環境中，負責連接控制平面、接收測試指令並調用實際服務。它可部署在開發者本機、VPC、實體伺服器或專用的CI工作節點上。

• 從網頁介面執行單個測試用例。
• 透過命令列運行一組測試。
• 從CI/CD流水線觸發冒煙與回歸套件。
• 從本地代碼接入服務，不必連接遠端倉庫。
• 將執行日誌和通過失敗結果發送到控制平面。
• 讓生產流量和敏感運行數據留在客戶環境。

CI/CD集成

• 按服務名稱和目標環境運行測試。
• 指定測試服務的基礎地址。
• 按REST、GraphQL或Kafka協議篩選。
• 按測試用例ID、標籤或端點執行。
• 區分正常場景和負面場景。
• 按版本、方法或回歸範圍組合測試套件。
• 將失敗作為合併、發布或部署門禁。

部署方式

定價與採購方式

BaseRock並未公開固定的月費套餐，官方價格頁面說明，費用是根據所測試的服務數量來計算的，並且會根據SaaS或自托管的方式來給出報價。企業還需要另外承擔自行攜帶大模型、雲資源以及內部運行環境的相關成本。

採購前需要確認

• 被測服務數量的計算口徑和最低合約規模。
• SaaS、自託管和私有雲的價格差異。
• 控制平面、Agent升級和連接器維護責任。
• 模型調用費用是否完全由客戶承擔。
• 併發任務、用戶數量、儲存與日誌是否有限制。
• 試點、實施、培訓和持續支援是否包含在報價中。
• 合約終止後的測試資產、Playbook及報告導出方式。

典型應用場景

• 介面整合測試：從代碼自動生成正常與錯誤場景。
• 微服務回歸：驗證多個服務升級後的契約和協作。
• 收入路徑保護：持續檢查訂單、支付、訂閱和退款。
• AI生成代碼治理：為快速變化的代碼同步生成測試。
• 發布門禁：在CI/CD中運行冒煙與業務關鍵套件。
• 需求一致性：檢查程式碼的行為是否符合PRD和Jira的規定。
• 遺留測試現代化：以自然語言Playbook取代部分脆弱腳本。
• 合規審計：保留測試結果和業務規則驗證記錄。

產品優勢

• 業務結果導向：不僅檢查介面，還驗證客戶與收入流程。
• 自動發現代碼：不需要先手動維護完整的規範文件。
• 跨服務編排：適合複雜的微服務與單體模組。
• 自然語言Playbook：降低編寫測試腳本的門檻。
• 自帶模型：企業可以使用已有雲模型協議與金鑰。
• 本地執行：Agent讓運行流量留在客戶網絡。
• 部署靈活：提供SaaS、自託管和私有環境選項。
• 人工可控：執行前可檢查和編輯具體動作。
• 持續維護：代碼和需求變化後自動適配測試。

使用限制

• 沒有公開價格：必須聯絡銷售並按服務數量報價。
• 帳戶需開通：目前不是個人自助註冊即用工具。
• 需要模型密鑰：LLM成本和數據條款由企業另行管理。
• 首次接入複雜：需要倉庫權限、環境、Agent和服務配置。
• AI可能誤解業務：生成用例和Playbook仍需領域人員複核。
• 測試數據風險：錯誤配置可能修改測試或生產系統。
• MCP增加依賴：外部需求與資料來源的連接需要額外治理。
• 自託管有運維成本：升級、監控、資源和安全由雙方明確分工。

安全與數據邊界

目前，官方頁面及文件中說明，BaseRock已達到SOC 2 Type II的相關合規標準，並具備加密、角色權限控制、客戶環境隔離以及審計日誌等功能。遠端倉庫的連線採用只讀權限，而本機Agent則在客戶環境中執行測試。

• 採用最小權限的倉庫OAuth和服務帳號。
• 在VPC或本地環境處理敏感代碼和需求。
• 對第三方模型設定企業數據保留和訓練限制。
• 為Agent限制網路目標和可執行環境。
• 預設禁止對生產環境執行破壞性測試。
• 對測試數據、日誌和報告設定保留週期。
• 定期複核角色、倉庫、MCP和模型金鑰權限。

安全部署建議

1. 先在獨立測試倉庫和非生產環境驗證平台。
2. 為BaseRock建立只讀代碼連接及專用測試帳號。
3. 對Agent配置網路允許列表與最小系統權限。
4. 使用合成數據，避免複製真實客戶敏感資訊。
5. 檢查Playbook中的寫入、刪除、支付和通知動作。
6. 為危險操作加入人工審批與環境保護規則。
7. 輪換倉庫、模型與MCP憑證，並監控異常訪問。
8. 準備緊急停止、回滾和手動接管流程。

隱私注意事項

BaseRock會處理帳戶、使用狀況及診斷相關的數據，而企業專案還涉及原始代碼、需求以及測試相關的元資料。當啟用第三方大模型時，任務範圍內的數據可能會被傳送給對應的模型供應商，具體的處理方式則取決於企業的協議及部署設定。

GitHub與開源狀態

BaseRock在GitHub上公開了相關的文件以及範例應用程式，但Agentic QA的控制平臺、Agent以及核心生成系統則並未被標示為開源。公開的文件庫並不代表商業產品的原始碼也是開放的，且不應與Baserow資料庫專案混淆。

API與擴展能力

BaseRock透過倉庫連接、MCP伺服器、模型供應商、命令列Agent以及CI/CD參數來實現擴展。其公開文件主要說明企業整合與Agent的運作方式，而非針對第三方開發者所設計的通用測試SaaS API。

基本資訊

推薦指數

綜合推薦指數為4.5分，滿分為5分。BaseRock適合那些擁有複雜介面及關鍵業務鏈路的企業開發團隊使用，但需要投入資源用於系統整合、模型開發、環境設定以及業務流程的檢核，因此不適合那些只需要進行簡單單元測試即可的個人專案。

常見問題

BaseRock AI主要做什麼？

它從代碼和需求生成、執行並維護集成測試與跨服務業務流程測試。

BUCT是什麼意思？

它是Business Use Case Testing，重點驗證業務結果而非只看介面狀態。

支援哪些程式語言？

官方表示支持Java、Python、Go及其他主要語言。

支援哪些代碼倉庫？

支援GitHub、GitLab、Bitbucket，也可以從本地代碼接入。

需要自己的模型密鑰嗎？

需要，BaseRock採用客戶自帶大模型密鑰的方式。

支援自託管嗎？

支援，也可選擇SaaS、私有雲或VPC部署。

BaseRock多少錢？

按被測服務數量和部署方式定制報價，官網沒有公開固定套餐。

可以加入CI/CD嗎？

可以，Agent可按服務、環境、標籤、協議和測試類別運行套件。

BaseRock是開源的嗎？

核心平台不開源，GitHub僅公開文件和範例專案。

源代碼會被修改嗎？

官方文件說明遠端倉庫連接採用只讀權限。

可以測試生產環境嗎？

技術上可配置目標地址，但不建議對生產環境執行可能寫入或刪除數據的自動化測試。

適合個人專案嗎？

通常更適合企業和團隊，個人專案可先比較輕量測試生成工具。