Denvr

Denvr 是什麼

Denvr 是由 Denvr Dataworks Corp. 所運營的 AI 雲端及私有 AI 基礎設施平台，總部設在加拿大的卡爾加里。它主要用於解決模型訓練、微調、推理，以及企業進行私有化部署時所需要的 GPU 運算力、網路、儲存及維運等方面的問題。

該平台同時提供按需使用的雲端資源以及專用的基礎建設，可在加拿大和美國地區使用；此外，它也能為那些需要數據主權、低延遲或隔離環境的組織，打造出適合其需求的本地化環境。它並非通用的聊天機器人，使用者通常透過控制台、API或基礎建設工具來建立計算資源，進而運行自己的模型與工作負載。

產品組成

主要功能

GPU 與 CPU 計算

使用者可以建立單個 GPU 或多個 GPU 的節點，並根據工作負載的需求選擇裸機、虛擬機或容器。目前支援的硬體包括 NVIDIA H200、GH200、H100、A100、A40 以及 Intel Gaudi2，不同地區、庫存狀況及購買方式可能會有不同的可用型號。

• 訓練與微調：使用高顯存 GPU、多卡 NVLink 及高速互連處理大模型、視覺模型和科學計算。
• 彈性實驗：透過按需實例短時間運行 Notebook、評測、資料處理或模型轉換任務。
• 預留集群：透過多月或年度承諾鎖定容量，適合持續訓練、生產推理和確定性排期。
• CPU工作負載：用於資料預處理、服務編排、一般性運算，以及那些不需要GPU的組件，可配置Intel或AMD實例。
• 機器學習鏡像：使用預裝驅動程式、Docker及常見框架的鏡像，減少底層環境的準備時間。

高效能網路與儲存

多 GPU 節點可透過 InfiniBand、RoCE 和 NVLink 等技術來互相連接，而具體的傳輸頻寬則取決於實例的型號。使用者還可以為實例配置本地的 NVMe 記憶體、永久性磁碟或網路共享的檔案系統，從而在速度、共享範圍和持久性之間做出權衡。

• 本地 NVMe：適合用於緩存、臨時訓練數據以及高吞吐量的中間檔案，但必須確認實例釋放後的資料生命週期。
• 持久盤：獨立於計算實例保存資料，適合模型權重、資料集和長期專案檔案。
• 共享檔案系統：讓集群節點能夠存取相同的資料空間，從而便於分散式訓練與團隊協作。
• 網路隔離：透過 VPC、VPN、公共或私人 IP 來設計存取邊界，不必將所有服務暴露在公網上。

專用 AI 推理端點

AI Inference會將模型部署在專用的單租戶GPU上，其費用計算方式不是根據輸入或輸出的token數量來決定，而是根據所佔用的GPU時間來計算。端點可以配置為公開IP或私有IP，且因為其呼叫方式與OpenAI API相容，因此能降低應用程式遷移的成本。

• 模型目錄：選擇平台列出的模型與硬體，啟動後獲得可供應用調用的推理端點。
• 自訂模型：透過 vLLM Server 或 Ollama Server 部署自有、開放或經過微調的模型。
• 穩定容量：專用 GPU 不會與其他租戶共享推論運算能力，適合對延遲和吞吐量有明確要求的服務。
• 成本特徵：沒有 token 上限並不代表沒有費用，端點運行期間仍持續產生 GPU 時間成本。
• 相容邊界：介面格式相容並不代表每個參數、模型能力或回應欄位都與其他服務完全相同，遷移前應進行測試。

筆記本與互動式應用

該平台提供 Jupyter Notebooks 和 OpenWebUI 等已封裝好的應用程式，開發者可透過瀏覽器進入互動式環境。Notebook 適合用於編寫代碼、處理數據以及進行模型測試，而 OpenWebUI 則方便團隊透過聊天介面來測試已部署的模型。

這些應用程式仍會在使用者所選擇的運算及儲存資源上運作，其費用、存取控制以及資料儲存方式則由底層設定決定。關閉瀏覽器頁面並不會自動停止這些應用程式的運作，因此使用後應檢查資源的狀態。

從註冊到運行的工作流程

1. 建立組織帳戶並進入 Web 控制台，完成帳戶、團隊及結算設定。
2. 選擇區域、項目及 VPC，確認數據駐留、網路訪問和容量要求。
3. 按模型顯存、訓練規模、延遲目標和預算選擇 GPU 或 CPU 實例。
4. 選擇機器學習鏡像、Notebook、OpenWebUI 或自訂鏡像，並掛載永久磁碟或共享儲存。
5. 配置 SSH、金鑰、使用者權限、公開或私有的 IP，以及所需的防火牆和 VPN 連線。
6. 上傳數據與代碼，或從受控儲存中取得模型權重，接著執行訓練、微調或部署任務。
7. 透過監控與日誌檢查效能、容量及異常，並以 API、CLI 或 Terraform 自動化重複操作。
8. 任務結束後，應停止或刪除不再使用的計算資源，同時保留確有需要的磁碟、快照和日誌。

部署推理服務的流程

1. 確認模型許可證、權重格式、上下文長度、顯存需求及預期併發量。
2. 從模型目錄選擇版本，或準備可由 vLLM Server、Ollama Server 加載的自訂模型。
3. 選擇 GPU 型號、數量、區域以及公共或私有端點，評估持續運行成本。
4. 設定身分驗證、網路策略和金鑰，不要將存取憑證寫入前端代碼或公開倉庫。
5. 建立端點並以相容 OpenAI API 的用戶端進行小流量測試，核對參數、回應及錯誤處理。
6. 壓測首個 token 的延遲、吞吐量、上下文長度與併發上限，再決定是否擴大實例或部署多個端點。
7. 持續監控運行時間和 GPU 利用率，低利用率服務可根據業務需求調整容量或停止。

價格與計費

按需計算，以分鐘為單位結算，頁面上會顯示每個 GPU 小時或每個實例小時的參考單價。若預先預訂數月或一年的資源，可節省多達 20% 的費用，但可用容量、地區、合約期限以及最終價格仍以控制台或報價為準。

H100在總價頁面上的標示為2.30美元，而AI Compute產品頁面則顯示為2.45美元，因此不能將單一頁面上的數字視為所有帳戶的固定成交價格。地區、庫存、結算週期、預留條件以及頁面更新時間都可能影響最終金額，因此在創建資源之前，應先查看實際的費用估算。

CPU、儲存與網路

目前，價格頁面將網際網路的進出流量、公網 IPv4、VPN 閘道以及 VPC 列為免費服務，但這並不代表所有的自訂網路、跨區連線或專用連線都免費。對於大型專案，應在方案和合約中明確所有的成本。

創業額度與付款

AI Ascend 創業計劃提供 1,000 美元的初始雲端使用額度，符合條件的團隊可申請最高 500,000 美元的生產使用額度。此類額度需經過申請及資格評估，並非所有新帳戶都能自動獲得永久免費的服務套餐。

• 按需資源可使用預付信用卡結算，企業也可申請銀行轉帳發票。
• 預留資源通常要求時間承諾，提前終止、容量變更和未用金額處理應以訂單為準。
• 公開頁面沒有給出適用於所有雲產品的統一退款承諾，購買前應確認取消、退款、SLA 和服務中斷條款。
• 推理端點按 GPU 時間計費，即使請求量很低，只要端點持續運行仍可能計費。

API、SDK 與開源狀態

Denvr 提供 REST API、命令列工具、Python SDK、Go SDK 以及 Terraform Provider，可用於建立集群、虛擬伺服器、網路及應用程式資源。團隊可將這些介面整合到持續交付、實驗環境以及基礎建設即代碼的流程中。

在使用 SDK 或範例時，應查看特定版本儲存庫中的許可證及依賴項目，切勿將組織內的所有專案視為具有相同的授權。部署第三方模型時，還需分別遵守模型權重、基礎模型、資料集以及所產生內容的許可條件。

支援平台

適合用戶與場景

• AI 團隊：需要快速取得 H100、A100、GH200 等算力進行訓練、微調與評測。
• 企業開發者：希望以相容 OpenAI API 的方式部署專用模型端點，並控制硬體和網路。
• 受監管組織：需要加拿大或美國區域、私有網路、專用環境及資料駐留規劃。
• 平台工程團隊：希望透過 API、CLI、SDK 或 Terraform 來統一管理開發與生產資源。
• 科研與工程團隊：需要高速互連、共享儲存以及多節點集群來運行分散式工作負載。
• 創業公司：符合 AI Ascend 的條件，且需要早期的雲端運算資源、技術支援或生產擴展的相關資源。

優勢

• 從單 GPU 到多節點集群均有路徑，能覆蓋實驗、訓練和生產推理。
• 推理端點採用專用單租戶 GPU，成本按硬件時間計算，便於高穩定負載做容量規劃。
• 同時提供 Web 控制台、API、CLI、SDK 和 Terraform，適合不同成熟度的團隊。
• VPC、私有 IP、VPN以及區域資料中心，都有助於建立隔離與資料存放的方案。
• 私有 AI 產品可擴展到專用雲或本地基礎設施，不局限於公共雲實例。

限制與注意事項

• GPU 的可用性會受到地區、庫存及預約條件的影響，頁面上列出的硬體並不保證隨時都能取得。
• 不同產品頁對 H100 的單價存在差異，實際費用必須在控制台、訂單或銷售報價中確認。
• 專用推理按運行時間收費，低請求量服務可能不如按 token 服務經濟。
• 公開資訊未給出覆蓋所有產品的統一退款、取消、SLA 和數據刪除時限。
• 網站條款與雲產品協議並非同一文件，企業採購應審閱實際服務合同和資料處理條款。
• SOC 2的控制措施、安全性以及資料存放要求，需根據具體的地區、產品、配置及合約範圍來判斷。
• 平台輸出品質取決於用戶部署的模型、版本、提示、數據及推理配置，基礎設施無法保證模型答案的準確性。

隱私、安全與商用

平台會處理帳戶與企業的聯絡資訊、登入憑證、溝通功能、資源使用率、系統指標，以及設備和瀏覽資訊。部分服務商可能在加拿大、美國或其他司法管轄區處理數據，企業應確認適用的數據處理協議及跨境要求。

• 客戶上傳的資料，由客戶負責取得合法的處理權限，不得在缺乏協議與控制措施的情況下提交敏感個人資訊。
• 平台說明指出，會採用管理、技術及實體安全措施，並根據工作需求限制人員的存取權限，但無論哪種雲端環境，都需由使用者正確設定身分識別、金鑰以及網路相關設定。
• 隱私文本沒有承諾統一的固定刪除期限，帳戶刪除後公開活動也可能繼續存在。
• 訓練數據、微調權重和日誌的保存、備份、刪除與事故應對應在企業合同中明確。
• 網頁內容的使用許可不能替代客戶數據、第三方模型或生成結果的商業授權。
• 模型能否商用取決於所部署模型、依賴項目及訓練數據的許可證，Denvr的基礎設施服務本身並不會自動授予這些權利。

常見問題

Denvr 是聊天機器人嗎

不是。它是一個用於 AI 計算、推理以及管理私有基礎設施的平台，而 OpenWebUI 只是用來讓人能夠操作已部署的模型的一個介面而已。

Denvr 有免費版嗎

尚未確認有針對所有用戶的永久免費運算層。AI Ascend會為符合條件的創業團隊提供申請制額度，不能視為註冊即可獲得的通用免費套餐。

推理服務按 token 收費嗎

專用的 AI Inference 端點並非以 token 數量來計費，而是根據 GPU 的運作時間來收費。雖然沒有 token 的使用上限，但這並不代表免費使用；只要端點持續處於線上狀態，就會持續產生費用。

H100 目前的價格是多少

總價頁面顯示的價格為每 GPU 小時 2.30 美元，而另一個產品頁面則顯示為每小時 2.45 美元。在進行訂購之前，應以所選的地區、帳戶控制台或正式的報價為準。

可以部署自己的模型嗎

可以透過 vLLM Server 或 Ollama Server 部署自訂、開放或微調過的模型。使用者仍需確認格式是否相容、顯存需求以及模型授權條款。

接口與 OpenAI API 完全相同嗎

推理端點採用相容的呼叫格式，便於重複使用常見客戶端。具體模型、參數、返回欄位、速率及錯誤行為仍應透過測試確認。

Denvr 是開源平台嗎

尚未確認雲端平台本身是否為開源。Python SDK、Go SDK、Terraform Provider以及部分範例儲存庫的代碼是開放的，且採用MIT或Apache-2.0授權條款，這些授權僅適用於相關的專案。

有手機應用或瀏覽器擴充功能嗎

目前還未確認有官方的 iOS、Android 應用程式或瀏覽器擴充功能。目前已確認的可使用入口主要是 Web 控制台、API、CLI、SDK 以及 Terraform。

企業數據會保存在加拿大嗎

該平台提供加拿大及美國地區的部署選項，也支援私人部署方式，但實際的資料儲存位置則取決於所選的地區、服務類型、備份方式以及供應商的安排。對於有嚴格硬性要求需要特定資料儲存地點的組織，應在架構設計及合約中逐一確認相關細節。

總結

Denvr適合那些需要專用 GPU、私有推論能力、加拿大地區的服務，或是希望對整個基礎建設有完整控制權的團隊。在選擇時，應同時考慮硬體的可用性、持續運作成本、網路與儲存費用、模型許可證的相關規定，以及合約中的安全、刪除和退款條款。