AnythingLLM

AnythingLLM是什麼

AnythingLLM 是一款免費且開源的 AI 助手、文件知識庫及 Agent 平台，由 Mintplex Labs 所開發。它能將 PDF、Word、純文字、網頁等資料整理到工作區中，透過 RAG 技術來提升問題回答的準確度；同時也能連接本機或雲端的巨大模型、向量資料庫、Embedding 技術，以及語音和搜尋服務，進而實現工具調用與自動化流程。

AnythingLLM 的特點是將模型、文件、向量檢索、對話、Agent 以及權限管理整合在同一个介面中。個人使用者可以安裝桌面版，於自己的電腦上建立本地知識庫；

團隊可以使用 Docker 版本部署到伺服器上，從而建立多用戶工作區；而不願意維護伺服器的用戶，則可以選擇由官方提供的雲端托管服務。

軟體本體為開源，並採用 MIT 授權，但所接入的模型、API、雲主機及第三方服務可能產生獨立費用。

AnythingLLM核心功能

文件問答與RAG知識庫

用戶可以將資料上傳到工作區，系統會解析文字、進行分塊處理，並產生 Embedding 之後再寫入向量資料庫。在提問時，AnythingLLM 會先搜尋相關的片段，再將這些片段交給模型來生成答案。

不同專案可以建立獨立工作區，分別設定提示詞、模型、溫度、對話模式和可用文件，適合個人資料庫、產品手冊、課程資料、內部制度及客戶支援。

預設的向量資料庫為本地的 LanceDB，索引和嵌入資料都儲存在當前實例中，同時也支援連接外部的向量資料庫。向量資料庫屬於系統級的設定，並非每個工作區都可以自行選擇。

更換資料庫後通常需要重新嵌入文件，因此遷移前應備份儲存目錄並預留重建索引的時間。

本地模型與雲端模型

AnythingLLM 可以連接 Ollama、LM Studio 等本地模型，也支援多種商業模型 API 以及與 OpenAI 相容的介面。在完全使用本地模型、本地 Embedding 和本地向量庫時，文件、向量以及主要的推理過程都可以保留在自己的設備或伺服器上；

一旦啟用雲端模型、網路搜尋、外部 MCP 或第三方語音服務，相關提示詞和數據就會傳給對應服務商。

模型路由功能可以依照規則，在本地模型與雲端模型之間分配任務，例如將一般的問答交給成本低廉的本地模型，而將複雜的推理任務交給能力更強的雲端模型。不過，路由功能無法自動保證資料品質或隱私，部署者仍需明確哪些資料可以流出內網，並測試各模型的上下文處理能力、工具調用能力以及結構化輸出能力。

AI Agent與Agent Flows

內建 Agent 可以調用網頁搜尋、文件檢索、SQL、檔案以及自訂技能等工具。Agent Flows 則以可視化的方式組合觸發器、模型、工具和條件分支，用於處理重複性的研究、資料整理及業務流程。

定時任務還可以按計劃運行 Agent 流程，保存執行歷史並發送通知。

當 Agent 擁有完整工具權限時，可能存在誤操作、提示詞注入以及資料洩漏的風險。建議使用低權限的憑證，限制網路與檔案的存取範圍，並對發送郵件、修改資料庫、刪除檔案等高風險動作設定人工確認機制，同時記錄日誌並設定重試次數的上限。

MCP工具擴展

AnythingLLM 支援透過 MCP 來連接檔案、瀏覽器、資料庫以及其他工具。桌面版主機需要事先安裝相對應的 MCP 服務依賴項，例如 Node、npx、uv 或 uvx，並確保這些命令位於系統的 PATH 中。

Docker 版也可以配置 MCP 服務，但需要將設定與依賴項目正確放入容器或持久化儲存中。

官方文件明確說明，MCP 可用於桌面版以及自託管的 Docker 版本，而官方託管的雲端服務目前並不提供此功能。在安裝第三方 MCP 之前，應先檢查其程式碼來源、權限以及環境變數，切勿將生產環境的密鑰直接寫入可被共享的設定檔中。

桌面助手與應用集成

桌面助手可以透過浮層在操作系統中調用 AI，並利用當前開啟的應用程式的上下文來輔助提問。該產品還支援與 Gmail、Outlook、Google Calendar 等應用程式整合，讓 Agent 能夠讀取或處理授權過的資料。

此類功能的實際可用範圍取決於版本、帳號授權及服務地區，涉及信箱或日曆時應使用最低限度的授權，並定期撤銷不再需要的連線。

多用戶、權限與嵌入組件

Docker 版支援單用戶及多用戶模式，管理員可建立成員、分配角色、共享工作區與文件，並將聊天組件嵌入網站。若未設定來源白名單，公開的聊天組件可能允許任何來源進行呼叫；

面向公網部署時應開啟嚴格白名單、身份認證、訪問頻率限制和反向代理安全策略。

AnythingLLM版本與價格對比

AnythingLLM 桌面版與 Docker 自託管版的軟體本體均可免費使用。官方雲端屬於託管服務，具體套餐、容量和價格可能調整，應以帳號內的訂閱或結算頁面為準。

本地免費並不代表沒有成本：設備、伺服器、電力、儲存、備份以及外部模型 API 都需要單獨計算。

模型與數據部署方式對比

AnythingLLM Docker部署教學

1. 準備環境：在伺服器上安裝 Docker，確認磁碟、記憶體、連接埠和網域名稱能滿足使用人數與模型規模的需求。
2. 建立持久化目錄：將主機的目錄映射到容器內的儲存路徑。如果沒有正確掛載持續性儲存體，那麼在刪除或重新建立容器之後，工作區、文件和設定都可能會遺失。
3. 啟動容器：按官方鏡像配置服務端口，首次可在本機端口進入初始化頁面。公網伺服器不要直接暴露未認證端口。
4. 選擇模型與Embedding：連接本地 Ollama、相容介面或雲端 API，並分別完成聊天模型、Embedding 和向量資料庫設定。
5. 建立工作區：建立專案，設定系統提示詞與檢索參數，再上傳少量測試文件以檢查解析、引用及中文回答的品質。
6. 配置使用者權限：團隊使用時開啟多用戶模式，區分管理員和普通成員，只共享必要工作區。
7. 增加安全層：配置 HTTPS、反向代理、強效密碼、來源白名單、訪問限制以及防火牆；金鑰則透過環境變數或金鑰管理服務來處理。
8. 備份與監控：定期備份持久化目錄和外部資料庫，記錄模型費用、磁碟增長、失敗任務與 Agent 工具呼叫。

AnythingLLM使用教學

建立可重複使用的專業工作流

1. 把複雜主題拆成背景、數據、比較和結論四類問題；
2. 組合文件問答與RAG知識庫、本地模型與雲端模型與AI Agent與Agent Flows形成固定研究步驟；
3. 優先使用官網、論文、監管文件和原始數據；
4. 對高風險結論設置第二人複核；
5. 保存查詢、證據、版本和未解決的問題；
6. 資料變化後重新運行並更新結論；

AnythingLLM適合哪些用戶

• 希望在電腦上搭建個人文件知識庫、盡量本地處理資料的用戶；
• 需要為公司制度、產品手冊或專案資料提供內部問答的團隊；
• 希望透過 Docker 對 RAG 與多用戶 AI 助手進行私有化部署的技術人員；
• 需要連接多種本地和雲端模型，並按任務切換模型的 AI 使用者；
• 計劃使用 Agent Flows、MCP 和定時任務搭建自動化流程的開發者。

優勢與使用限制

• AnythingLLM的優勢在於免費開源、部署選項多、介面完整，並同時涵蓋文件RAG、多模型、Agent、工作流和團隊權限；
• 桌面版降低了本地知識庫的門檻，Docker版則便於組織掌控資料位置和基礎設施；
• 它並不會讓RAG自動準確；
• 掃描件解析、表格結構、分塊方式、Embedding模型、檢索數量和原始資料品質都會影響回答；
• 關鍵結論仍應返回原文核對；
• 自託管也不等於自動安全，管理員需要負責升級、備份、身分認證、網路隔離和金鑰保護；
• 模型生成內容可能包含錯誤，醫療、法律、財務和生產操作不應在缺乏人工複核時直接執行；

常見問題

AnythingLLM免費嗎

桌面版和 Docker 自托管版免費開源。自行部署會產生硬件或雲伺服器成本，連接商業模型、搜尋、語音或外部資料庫時還可能由第三方收費；

官方託管雲端按訂閱頁面計費。

AnythingLLM可以完全離線使用嗎

可以。選擇本地模型、本地 Embedding 和本地向量資料庫，並提前下載所需組件後，即可在無網路環境中完成主要文件問答。

雲端模型、網頁搜尋和外部 MCP 功能仍需要聯網。

桌面版和Docker版怎麼選

個人在單台電腦上使用時，建議選擇桌面版；若需要遠端存取、多使用者使用、權限管理、網站嵌入或統一伺服器部署，則應選擇 Docker 版。

AnythingLLM支援MCP嗎

桌面版和自託管 Docker 版支援 MCP，但需要安裝相應的運行環境並配置服務。官方託管的雲端目前不支援 MCP。

AnythingLLM是開源的嗎

開源，官方核心倉庫採用 MIT 授權證。接入的模型權重、第三方 API、資料庫和 MCP 服務仍遵循各自的授權證與使用條款。