Jan

Jan是什麼

Jan 是一款免費且開源的本地 AI 聊天與大語言模型運行工具，其定位為可離線使用的 ChatGPT 替代方案。使用者可以在 Windows、macOS 或 Linux 上下載模型，從而讓對話和推理直接在自己的電腦上完成；

也能配置 OpenAI、Anthropic、Google、Groq、OpenRouter 等遠端模型 API，在同一介面切換本地與雲端模型。

Jan 不提供真正的“離線 ChatGPT 模型”，而是運行 Qwen、Llama、Jan 自研模型或其他相容的開源權重。具體能力取決於下載的模型、量化版本、電腦內存與顯卡。

它適合重視隱私、離線工作、模型自由以及本地 API 的使用者。

Jan核心功能

本地離線運行大模型

Jan透過llama.cpp和Apple MLX等後端來運行本地模型。使用者可從模型中心下載適合其硬體的版本，亦可導入相容的模型。

模型檔案儲存在本機，完成下載後無需網際網路即可聊天，推理不會產生按次 API 費用。

本地不代表一定更快。模型大小、量化、上下文長度、CPU、GPU、記憶體頻寬以及後台程式都會影響速度。

選擇過大的模型可能載入失敗、回應很慢或壓縮上下文。

雲端模型統一介面

若本地硬體不足，可把 OpenAI、Anthropic、Gemini、Mistral、Groq 或 OpenAI相容服務的 API Key 加入 Jan。雲端模型在供應商伺服器上運行，需要網路連線，並按對應供應商的價格計費。

Jan 本身不會讓這些商業 API 免費。

專案與助理

Projects用於集中管理相關的對話、檔案以及共享指令，而Assistants則用來儲存角色、行為模式和偏好設定。使用者可以為寫作、編碼、學習或內部資料查詢等需求建立不同的助手，這樣就不必每次都重複輸入相關背景資訊了。

長期記憶和上傳檔案仍需注意敏感數據與上下文長度。

Agents與Jan CLI

Jan CLI 可從終端載入模型、啟動本地的 OpenAI 相容服務、查看模型與對話記錄，並將本地模型連接到相容的編碼或自動化 Agent。`jan serve` 預設會在本機端口上提供介面，而 `jan launch` 則可選擇模型並啟動相容的 Agent 工作流程。

CLI 與桌面應用共享模型和資料目錄。

OpenAI相容本地API

Jan 可將本地模型作為 OpenAI-compatible API 暴露，應用只需修改 Base URL 和模型 ID 即可調用。服務可以設定端口、API Prefix、API Key、Trusted Hosts、請求超時與 CORS。

預設情況下，僅綁定本機較為安全；若要綁定到所有網路卡，必須設定強大的金鑰、防火牆以及可信賴的主機。

MCP工具調用

Jan 可以作為 MCP Host，用來連接本地的檔案、瀏覽器、資料庫或自訂的 API 工具。在呼叫工具之前，會顯示即將傳遞給模型的參數，由使用者決定是否批准。

雖然可以開啟「允許所有工具」，但這會大幅增加提示詞注入與誤操作的風險，尤其是當工具能存取已登入的瀏覽器、檔案或命令列時。

並非所有的本地模型都擅長工具調用。在使用 MCP 之前，應先選擇明確支援工具調用的模型，並逐一測試工具的參數與回傳格式。

隱私與本地資料

使用本地模型時，提示詞和回覆主要保存在本機；用戶無需創建雲帳號即可開始。

連接遠端模型、外部 MCP 或網路搜尋後，相關數據會發送給相應的第三方，因此「Jan 重視隱私」並不等於所有的使用方式都是完全離線的。

安裝擴展和 MCP 服務前還應檢查來源與權限。

Jan價格與運行方式對比

Jan 的桌面應用程式和 CLI 是免費的，其官方儲存庫則採用 Apache License 2.0 授權條款。本地模型通常可以免費運行，但使用者需自行負擔硬體、電力及儲存方面的成本。

雲端模型由各 API 提供商單獨計費。

硬體要求與模型選擇

官方經驗建議，每個模型應預留約 5GB 或更多的磁盤空間，並準備約為模型檔案大小兩倍的可用記憶體餘量。實際需求則取決於量化方式、Context、KV Cache 與後端設定，不應僅以參數量作為判斷依據。

Jan下載安裝教學

1. 下載應用：從 Jan 官網選擇 Windows、macOS 或 Linux 安裝包。
2. 完成首次啟動：應用會下載預設的基礎模型；也可進入 Hub 選擇其他模型。
3. 按硬體選量化：先用較小模型測試速度和記憶體，再逐步提高參數量或精度。
4. 創建對話：從模型選擇器選本地模型，輸入問題並觀察記憶體、速度和上下文表現。
5. 配置雲模型：如需更強能力，在 Model Providers 中填入自己的 API Key。
6. 啟用本地API：設定監聽地址、端口與API Key，僅在確有需要時開放局域網。
7. 連接MCP：安裝可信伺服器，選擇支援Tool Calling的模型，並保持逐次審批。

Jan AI使用教學

建立可重複使用的專業工作流

1. 為開發、測試與生產環境使用不同密鑰與額度；
2. 按本地離線運行大模型、雲端模型統一界面和Projects與Assistants建立代表性評測集；
3. 設定超時、併發、重試、限流和預算上限；
4. 對輸出執行事實、安全、格式和敏感資訊檢查；
5. 監控模型版本、價格、延遲和失敗率變化；
6. 準備降級模型、熔斷和人工接管方案；

適合哪些用戶

• 希望離線聊天並讓數據盡量留在電腦的個人用戶；
• 需要比較多個本地與雲端模型的 AI 愛好者；
• 希望為自有應用提供本地 OpenAI 相容介面的開發者；
• 處理內部文件、代碼和隱私資料，但能自行管理設備安全的團隊；
• 希望用 MCP 為本地助手增加文件、瀏覽器和資料工具的進階使用者。

優勢與注意事項

• Jan的優勢在於免費開源、跨平台、無需帳號、以本地為優先，並將模型管理、聊天、CLI、API和MCP整合在統一應用中；
• 用戶既能完全離線，也能按任務切換到更強的雲模型；
• 本地模型仍可能生成錯誤資訊，不能因為離線就視為可靠；
• 模型許可證也與Jan軟體許可證分開，商用前需檢查具體權重條款；
• MCP和局域網API會擴大攻擊面，不應預批准未知工具或無密碼暴露服務；
• 涉及重要文件時，應備份Jan資料目錄，並保護設備登入及磁碟加密；

常見問題

Jan AI免費嗎

Jan 的應用程式、CLI 以及本地推論功能都是免費的。當連接到 OpenAI、OpenRouter 等雲端模型時，則需由對應的 API 提供商收取費用。

Jan可以完全離線嗎

可以。提前下載本地模型後可離線聊天。

下載模型、呼叫雲端 API、網路搜尋以及外部 MCP 則需要網路。

Jan支援中文模型嗎

支援導入或下載相容的 Qwen 等中文能力較強的模型。中文品質取決於具體模型、量化和上下文設定。

Jan能作為本地API嗎

可以，可提供 OpenAI 相容的介面，供腳本、應用程式和 Agent 呼叫。開放到區域網路時必須設定 API Key 和網路限制。

Jan開源嗎

開源，官方 GitHub 主倉庫採用 Apache License 2.0。下載的第三方模型則遵循其各自的許可證規定。