Anyscale

Anyscale是什麼

Anyscale是由Ray的創始團隊所開發的統一型AI與機器學習計算平台，適用於那些需要處理大量Ray工作負載的開發者及企業。它在開源版Ray的基礎上，增加了託管基礎設施、運行時優化功能、可觀測性工具，以及相關的開發工具。

平台可以從互動式開發延伸到資料處理、模型訓練、批次推論以及線上服務。使用者既能快速使用 Anyscale 所提供的託管資源，也能將資料處理環境部署在自己的雲端或 Kubernetes 環境中。

Anyscale與Ray的關係

Ray是一個開源的分布式運算框架，負責任務調度、Actor管理、容錯處理、自動擴縮容等功能，同時也包含Ray Data、Ray Train和Ray Serve等函式庫。開發人員可以自行安裝並維護Ray。

Anyscale是一個商業託管平台，它使用經過優化的Anyscale Runtime來執行Ray工作負載，並負責處理群集的整個生命週期、鏡像緩存、監控以及生產運維等相關工作。現有的Ray程式碼通常可以透過較少的修改就能遷移過來，但這個平台服務並不等同於開源版的Ray本身。

Anyscale主要功能

工作空間互動開發

Workspaces可提供對VS Code、JupyterLab以及網頁終端的支援，讓開發人員能直接連接到Ray集群進行實驗。此外，也可以從本地的VS Code或Cursor來連接工作區。

Jobs生產任務

Anyscale Jobs用於提交資料處理、模型訓練和批次推理等生產環境中的Ray應用。該平台負責建立集群、監控任務、儲存日誌，並支援失敗處理、重試、隊列管理以及定時執行等功能。

Services在線服務

Anyscale Services基於Ray Serve託管模型和Python應用，提供高可用與零停機升級能力。多個模型可以共享基礎設施，並隨請求負載擴縮。

自動擴縮

平台可以根據不同的工作節點類型來增加或釋放CPU與GPU資源，並支援按需、Spot及預留實例。合理設定最小與最大副本數量，即可兼顧系統的可用性與成本。

統一調度與隊列

Anyscale調度器能夠在Jobs、Services和Workspaces之間分配計算資源，並透過優先級和隊列來控制那些昂貴的加速器。管理員可以根據需求，在預留型、Spot型、按需型以及部分雲端環境中進行資源的調度。

容器與依賴管理

使用者透過容器鏡像與運算設定來定義工作負載環境，平台則會建立並快取經優化的鏡像。這種快取機制能加速新節點的啟動，從而幫助集群更靈活地進行擴充或縮減。

監控與調試

控制台提供工作區、任務、服務以及 Ray 集群的日誌、指標與儀表板。使用者也可以定義自己的指標，或將資料連接到現有的可觀測性系統中。

成本追蹤

組織管理員可依雲端、專案、使用者、實例類型及群集來查看預估用量，並下載詳細資料。預算功能會提供每日或每月的提醒，但這屬於軟性限制，不會自動停止群集的運作。

CLI、SDK與API

開發者可使用命令列、Python SDK和API來提交任務、管理集群，並與CI/CD系統相連。自動化使用的憑證應儲存在金鑰管理系統中，且需遵循最小權限原則。

生成式AI能力

LLM在線推理

Anyscale結合Ray Serve與vLLM，提供大語言模型服務功能，並重點優化吞吐量、延遲以及GPU的利用效率。在實際部署時，仍需進行真實流量的壓力測試及容量規劃。

微調與分散式訓練

Ray Train與集群資源可用於多GPU模型訓練和微調。團隊應先以小規模數據驗證代碼、檢查點及恢復流程，再擴大資源。

批量推理與多模態數據

Ray Data可以並行處理文本、圖像和其他數據，適用於大規模嵌入、離線預測和數據整理。管道應記錄輸入版本、模型版本和失敗數據。

RAG流程

平台可用Ray Data完成文件切分、嵌入和向量庫寫入，再利用Services部署線上檢索與生成組件。離線索引和線上服務可以獨立擴縮。

AI代理與MCP

開發者可在Ray上編排單代理或多代理工作流，並將MCP伺服器包裝為Ray Serve來部署。每個工具服務均可獨立進行擴充/縮減、負載平衡及容錯處理。

Anyscale使用教學

1. 創建組織，領取當前可用的試用額度。
2. 根據資料位置和網路要求選擇Hosted或BYOC。
3. 建立Cloud與Project，劃分團隊與環境的邊界。
4. 準備容器鏡像、Python依賴和環境變數。
5. 定義CPU、GPU、節點類型和自動擴縮上限。
6. 在Workspace中運行小規模Ray應用並查看日誌。
7. 將穩定代碼提交為Job，配置重試、隊列或定時計劃。
8. 需要線上推理時，將應用部署為Service並配置副本。
9. 接入監控、告警、身分權限和CI/CD流程。
10. 透過用量儀表板持續檢查成本，及時關閉閒置資源。

支援的部署方式

適合哪些用戶

• AI研究員和資料科學家：擴展實驗與模型訓練。
• 機器學習工程師：將Ray應用從開發推動至生產。
• 數據工程團隊：運行大規模數據處理和批量推理。
• MLOps與DevOps團隊：統一計算、權限、監控和發布流程。
• 生成式AI團隊：部署LLM、RAG、代理與多模態管道。
• 擁有多雲或Kubernetes基礎設施的企業平台團隊。

產品優勢

• 由Ray創始團隊構建，對Ray工作負載提供深度優化。
• Workspaces、Jobs和Services共享相近配置，開發到生產較連貫。
• 支援CPU與多類GPU混合集群、Spot回退和自動擴縮。
• Hosted適合快速開始，BYOC則能滿足資料駐留與企業網路的要求。
• 內建日誌、指標、成本分攤及組織級權限管理。

使用限制與注意事項

• Anyscale主要面向熟悉Python、容器、雲資源及Ray的技術團隊。
• 按用量計費可能隨集群擴縮快速增長，應設定資源上限和費用告警。
• 預算是軟限制，超過閾值不會自動終止集群或服務。
• 價格頁面的 Anyscale Credits 與最終的美元帳單，可能會因合約及部署方式的差異而有所不同。
• BYOC仍需要客戶配置雲權限、網路、Kubernetes和安全責任。
• 生產服務應配置多副本、跨故障域和壓測，不能只依賴預設參數。
• 客戶代碼、模型和數據進入平台前，應審查合約、DPA與數據安全附錄。

Anyscale價格

截至2026年8月26日，Anyscale採用按用量付費或承諾合約模式，沒有固定月費。新帳戶頁面目前顯示可獲得100美元的Anyscale Credits，資格及有效期限以註冊頁面為準。

這些是官網上顯示的Anyscale Credits參考費率，不應直接視為完整專案的總價。實際帳單還會受到節點數量、運行時長、部署方式、雲端資源、儲存空間、網路狀況、折扣以及合約條款的影響。

按量付費與承諾合約

• 按量付費：根據實際使用量計算，適合測試及波動性的工作負載。
• 承諾合同：針對穩定或較大用量，可申請規模折扣與支持權益。
• 主辦方：由Anyscale提供運算資源及每月的信用卡結算服務。
• BYOC：使用客戶雲資源，也可透過雲市場或Anyscale結算。

安全與數據位置

Anyscale採用控制平面與客戶資料平面分離的雙平面架構。在BYOC模式下，Ray集群運行在客戶的雲端帳戶或Kubernetes集群中，而資料則可以儲存在所選定的區域中。

官方文件指出，該平台具備SOC 2 Type 2認證，Trust Center還列出了ISO 27001認證資格。不過，這些認證無法取代客戶自行設定的IAM、網路、金鑰、日誌及資料分類規則。

開源狀態

Ray是一個開源框架，而Anyscale平台及優化運行時則屬於商業產品，因此不能將二者混為一談。選擇Anyscale並不代表就能自行部署所有的平台組件。

Anyscale的官方GitHub帳戶中，提供了各種教學資料、範本、Terraform模組、Helm圖表，以及一些整合式專案。這些公開的儲存庫都有各自的授權條款，但這並不代表整個Anyscale平台都是開源的。

常見問題

Anyscale可以免費試用嗎？

可以。官網目前提供100美元的Anyscale Credits用於開始體驗，具體資格、有效期及可用資源以註冊帳戶為準。

Anyscale和Ray有什麼區別？

Ray是一個開源的分布式運算框架；Anyscale則是在Ray的基礎上，提供託管集群、優化運行時環境、監控、治理以及相關生產工具的商業平台。

可以部署在自己的雲裡嗎？

可以。BYOC支援客戶的雲端或本機 Kubernetes 環境，並可使用 AWS、Azure、Google Cloud 及相關雲端市場的結算方式。

Anyscale支援哪些AI工作負載？

支援資料處理、分散式訓練、批次推論、線上模型服務、LLM、RAG、多模態處理、AI代理和MCP服務等Ray工作負載。

Anyscale如何收費？

採用用量計費或承諾合約，沒有固定月費。實際費用取決於資源類型、節點數、時長、部署方式、雲端成本及合約折扣。

Anyscale是開源平台嗎？

不是完整開源平台。開源的是Ray及官方公開的部分教學和集成倉庫，Anyscale平台與優化運行時屬於商業產品。