Featherless AI 是什麼
Featherless AI是一個無伺服器式的AI推論平台及研究團隊,它可協助開發者使用開放式的權重模型,而無需自行配置GPU、推論框架以及擴充/縮減運算能力的基礎設施。其核心產品包括與OpenAI接口格式相容的API、模型目錄,以及用於執行Agent的托管環境。
平台提供模型運行服務,不等於取得模型本身的許可。每個模型的訓練方式、使用限制、商用權限和輸出風險仍需按其獨立許可證判斷。
主要功能
開放權重模型推理
使用者從模型目錄中選擇特定的模型 ID,再透過統一介面發起生成請求。目錄提供模型家族、參數規模、上下文長度、任務類型、模態、許可證、部署狀態以及當前可用性等篩選資訊。
- 可在 Qwen、Llama、Mistral、DeepSeek、RWKV 等多個模型家族之間切換。
- 模型詳情會顯示熱啟動、載入中、冷啟動或離線等運行狀態。
- 目錄中的最大上下文不一定等於帳戶套餐上限,實際值取兩者較小者。
- 受限模型可能要求用戶先在關聯的 Hugging Face 賬戶中取得訪問資格。
文本生成與流式輸出
Chat Completions適用於多輪對話、角色設定以及工具型訊息,而Completions則適用於傳統的提示語續寫。呼叫端可以要求以流式方式獲得回應,如此就能逐步收到生成的內容,進而改善互動時的等待體驗。
視覺理解
支援視覺功能的模型能夠在聊天訊息中接收圖片地址或 Base64 格式的圖片,並與文字說明一起用來進行描述、比較及資訊提取。其視覺處理能力取決於所選用的模型,而圖片的大小也可能導致更高的延遲或成本。
向量嵌入
Embedding 接口接收單個字串或字串陣列,為每項返回對應向量。它適合語義檢索、相似度、聚類、分類以及檢索增強生成流程。
語音合成
Speech 接口將文字輸入交給相容的語音模型,並回傳音頻,可選擇批次二進位、JSON 或伺服器推送事件等交付形式。支援的格式與文字上限由特定模型決定,流式傳輸也不一定意味著模型會即時逐幀生成。
Agent Marketplace
Agent Marketplace 提供預設好的聊天介面、助手以及其他 AI 應用,使用者可直接在託管式的雲端環境中啟動它們。其推論功能已與 Featherless 相連,因此很適合那些不想自行部署 Agent 軟體的使用者。
Agent 沙箱在連續 24 小時內沒有活動時會自動停止運作,但檔案和設定仍會被保留,之後可以手動恢復。此功能適用於價格高於 25 美元的付費方案。
專用 GPU 部署
需要固定容量、特定模型、更高吞吐量或定制化基礎設施的團隊,可申請專用 GPU。硬體、模型、性能目標、工程支援以及合約價格等事項,都需要與銷售團隊確認。
API 形態
| 接口或能力 | 輸入 | 輸出與用途 |
|---|---|---|
| Chat Completions | 消息、模型和生成參數 | 對話回覆、代碼、工具調用和流式文本 |
| Completions | 提示文本 | 文本續寫與批處理生成 |
| Models | 查詢、篩選或模型 ID | 模型目錄、許可證、狀態、能力及實時價格 |
| Plan | 帳戶 API 金鑰 | 當前套餐的上下文、模型規模和併發上限 |
| Embeddings | 字串或字串陣列 | 向量列表與用量數據 |
| Vision | 文字加圖片地址或 Base64 | 視覺問答、描述、比較和提取 |
| Audio Speech | 文本、語音模型與音頻選項 | MP3、WAV 等模型支持的音訊 |
API 接入流程
- 建立帳戶並選擇聊天、開發者或自訂部署方案。
- 在帳戶控制台建立 API 金鑰,放入伺服器端金鑰管理系統。
- 瀏覽模型目錄,按任務、模態、許可證、上下文和可用性篩選模型。
- 使用 OpenAI 相容的 SDK,將基礎地址和金鑰替換為 Featherless 設定。
- 先調用 Models 和 Plan 以獲取模型狀態、價格與帳戶上限。
- 向聊天、補全、嵌入或語音接口提交最小測試請求。
- 生產環境加入超時、重試、限流、成本追蹤、內容審核和模型回退。
第三方工具與框架
| 類別 | 已提供的接入指導 | 典型用途 |
|---|---|---|
| 編程工具 | Cursor、Aider、Cline、Roo Code | 代碼補全、終端助手和編碼 Agent |
| 開發框架 | LangChain、LlamaIndex、LiteLLM | Agent、RAG、統一模型路由 |
| 工作流平台 | n8n、Dify | 自動化與低代碼 AI 應用 |
| 角色聊天客戶端 | SillyTavern、WyvernChat、HammerAI、Venus AI | 角色扮演和對話前端 |
相容性說明並不代表 Featherless 擁有或維護所有第三方產品。版本升級後應重新確認欄位、工具呼叫、視覺訊息及流式行為是否一致。
價格套餐
| 套餐或版本 | 價格 | 計費週期 | 核心權益或額度 | 適合用戶 |
|---|---|---|---|---|
| Featherless Chat | 25 美元 | 每月 | 模型目錄訪問、最多 32K 上下文、4 個並發單位、月內請求不限量 | 互動聊天、角色對話和個人實驗 |
| Featherless Developer | 50 美元起 | 每月預付積分 | 無模型規模上限、最多 256K 上下文、100 個並發單位、按成功請求扣費 | API 應用和生產工作負載 |
| Dedicated GPU | 聯絡銷售 | 訂製合約 | 保留 GPU 容量、訂製模型、吞吐與工程支援 | 高併發和穩定容量團隊 |
Chat 的不限量受套餐並發單位、模型大小、上下文和合理使用條件約束,不代表無限並發或固定性能。較大的模型會佔用更多並發單位。
開發者積分計費
- 每月選擇預付額度,付款成功後計入組織餘額。
- 只有成功請求扣費,成本由模型、輸入量與輸出量計算。
- 不同模型或模態可採用不同單價,應在模型詳情中查看當次價格。
- 餘額不足時按請求計價的 API 會停止,用戶可一次性充值。
- 未用積分不會到期,取消後會停止後續月度儲值,餘額仍可用至耗盡。
- 提高月度額度立即生效並按剩餘賬期折算,降低額度在下一賬期生效。
適合用戶與場景
- AI 應用開發者:使用一個相容的介面來測試並切換不同的開放權重模型。
- 編碼團隊:為 Cursor、Aider、Cline 或自建代碼 Agent 提供推理後端。
- RAG 團隊:組合嵌入、文本生成與工具框架建立檢索問答。
- 內容與角色聊天用戶:按模型風格選擇創作或角色扮演模型。
- 研究人員:比較不同架構、參數規模和上下文下的輸出表現。
- 企業平台:透過專用 GPU 取得更可控制的容量與部署方案。
優勢
- OpenAI 相容介面可降低既有用戶端遷移成本。
- 模型目錄覆蓋面廣,並提供能力、許可證和即時部署狀態字段。
- 聊天固定月費與開發者按請求積分分開,適配互動和生產兩類用量。
- 文本、視覺、嵌入和語音可在一個帳戶體系中調用。
- 官方範例涵蓋常見框架、編程工具和工作流平台。
能力邊界
- 開放權重不等於開放原始碼,也不會自動授予商業、再發行或高風險用途的許可。
- 模型目錄會變化,模型可能冷啟動、載入失敗、離線或被下架。
- OpenAI 的相容性屬於介面相容,具體參數、工具呼叫與輸出欄位仍可能存在差異。
- 不同模型的準確性、安全行為、語言、上下文和多模態能力差異很大。
- 第三方模型可能生成錯誤、有害或不適合未成年人的內容,應用方需自行審核。
- 固定月費個人層級主要面向互動、原型和實驗,不應擅自用於大規模轉售或未獲准生產場景。
隱私與日誌
隱私文件中指出,API聊天、提示以及自動補充的文字內容都會被即時處理,不會被儲存或記錄在 Featherless 伺服器上。此說明僅適用於推理相關的內容,不應被擴大解釋為帳戶、支付、濫用防護以及服務運作完全沒有任何元資料。
- API 金鑰必須僅儲存在伺服器端,不得提交到公開倉庫或前端代碼中。
- 在處理個人資料、商業機密或受監管資訊之前,應確認完整的隱私政策與合約條款。
- Agent 沙箱會保存檔案和設定,即使因空閒停止也不會自動丟棄。
- 集成第三方客戶端時,還要單獨審查該客戶端的日誌、緩存與遙測行為。
- 公開資料未確認具體安全認證、資料區域及企業級保存控制,敏感項目應向團隊索取書面說明。
版權、商用與退款
用戶保留上傳內容及模型生成內容的所有權,但服務條款不會為用戶授予第三方模型的使用許可。使用者必須逐一核對模型許可證,並確保輸入、輸出及部署方式符合法律與模型相關規定。
- 當前月份訂閱不可退款,續訂可隨時取消。
- 違反個人套餐用途限制可能導致終止且不退款。
- 開發者積分退款或餘額調整需聯繫支援,公開文件未承諾自動退款。
- 用戶不得把模型生成內容冒充為人類創作,也不得規避限流、破壞服務或侵犯他人權利。
- 平台軟體、技術和流程歸 Featherless,訂閱不轉移其知識產權。
GitHub 與開源狀態
| 項目 | 狀態 | 許可證或說明 |
|---|---|---|
| Open Agent Loops | 公開代碼 | MIT;面向 TypeScript 的可替換 Agent 循環組件 |
| Guardrails Webhook 範例 | 公開範例 | MIT;演示防護 Webhook 服務 |
| Featherless Cookbook | 公開範例 | 包含 API、LangChain、LiteLLM 與 LlamaIndex 筆記本;倉庫許可證暫未確認 |
| KVM 論文代碼 | 公開分叉倉庫 | 研究代碼,不代表線上推理平台源代碼 |
| Featherless 托管平台 | 專有服務 | 公開倉庫不代表平台整體開源 |
| 目錄中的模型 | 許可證各異 | 必須按每個模型詳情單獨核對 |
常見問題
Featherless AI 可以免費使用嗎?
目前公開的方案為每月 25 美元起,尚未確認是否有長期免費套餐。註冊頁面或短期活動可能會有變動,應以帳戶結算頁面為準。
Chat 與 Developer 套餐怎麼選?
Chat 適合用於互動與原型開發,採用固定的月費及併發數量計費方式;Developer 則適合用於 API 工作負載,會根據成功的請求數量,從預先支付的積分中扣除費用。
未用開發者積分會過期嗎?
當前文件稱積分不會過期。取消月度儲值後,已有餘額仍可繼續使用,耗盡後請求將停止。
Featherless 會保存提示和回答嗎?
API 推理文件稱不記錄或保存聊天、提示和補全文本,但 Agent 檔案、帳戶、支付及運行所需資訊屬於不同數據範圍。
可以直接使用 OpenAI SDK 嗎?
可以,平台提供相容的介面,可替換基礎地址與 API 金鑰來進行連接。上線前仍應測試所需的端點與參數是否完全相容。
所有模型都可以商用嗎?
不能一概而論。模型由不同發布者提供,開放權重、許可證、商用限制和歸屬要求都必須逐項核對。
Featherless 本身開源嗎?
託管平台並非已確認的整體開源產品;官方開放了 Agent SDK 和部分範例倉庫,它們各自採用或缺少獨立許可證。
總結
Featherless AI 適合希望透過統一介面來調用大量開放權重模型的開發者,同時也能應用於視覺、嵌入式、語音以及雲端 Agent 等領域。選擇套餐時,需區分固定月費並發數與按請求計算點數的兩種計算方式。
在投入生產之前,應先驗證模型的可用性、相關的上下文資料以及成本,同時建立重試與回退機制,並逐一檢查模型的授權條件。對於敏感數據而言,還必須確認其隱私保護、安全性以及企業間的合約條款是否完整。
桂公網安備45132202000164號