Krita AI Diffusion

Krita AI Diffusion是什麼？

Krita AI Diffusion是一種將生成式AI直接整合到Krita繪畫工作流程中的開源插件。藝術家可以繼續使用Krita的筆刷、圖層、選區、蒙版和顏色工具，同時還能透過側邊欄來使用文生圖、局部重繪、擴大圖像、參考圖控制、即時繪畫以及超解析度等功能。

這個插件本身並不會直接執行大型擴散模型，而是用來連接ComfyUI的後端。後端可以透過安裝指南在本機上部署，或者運行在另一台電腦或伺服器上；此外，也可以使用Interstice的雲端GPU服務。

這種架構讓介面保持在Krita內，同時保留本地模型和遠端算力的選擇。

文生圖與畫布創作

使用者可輸入正向與負向的提示詞，選擇風格與基礎模型後，即可在目前的畫布範圍內生成圖片。結果會以 Krita 圖層的形式加入文件中，這樣便可以繼續進行手繪、變形、調色和合成等操作，而不必只能從獨立的網頁下載成品。

提示詞生成無法保證文字的準確性，以及複雜手部動作或角色特徵的一致性。對於專業項目而言，應將模型、LoRA、種子值、採樣設定以及Krita的原始檔案妥善保存，以便日後重新製作或進行修改。

選區局部重繪

使用Krita的任意選區工具來圈定所需區域之後，即可透過Fill功能來添加物體、移除某些內容，或重新生成該區域的樣子。上下文資訊有助於AI理解周圍的顏色、透視關係和結構，因此很適用於修復臉部、更換服裝、添加道具，或是清理畫面中的雜質。

蒙版邊緣、上下文範圍以及強度都會影響到接合的效果。當小區域位於過大的畫布上時，應為 AI 提供足夠的上下文資訊，並分階段進行處理，如此才能避免出現紋理斷裂或比例失調的問題。

擴圖與畫布延伸

擴大畫布後選擇空白區域，即可讓AI補全邊緣，適合將方圖改為橫版海報、補足人物身體或延伸背景。擴圖會推測原圖之外的內容，並不能恢復真實拍攝範圍。

Refine圖生圖細化

Refine可透過調整強度來重新處理原有的畫面。低強度主要用於改善紋理與細節，而高強度則會改變畫面的造型與構圖。

藝術家可以用手繪草圖逐步引導AI，而非一次性生成最終圖。

漸進式細化是插件的核心工作方式：先畫出整體的形狀與顏色，再在局部提升解析度與細節，通常比對整張高解析度畫布反複重生成更易控制。

Live Painting實時繪畫

Live Painting會持續讀取目前的畫布或指定區域，將使用者的筆觸即時轉換為更完整的圖像。它適合用於探索構圖、光影、材質以及角色設計的方向，且筆刷的變化能夠迅速獲得AI的回饋。

實時模式對顯卡和生成速度的要求較高。延遲過大時可降低解析度、步數或使用更快的模型，並在確定方向後再進行高品質細化。

Regions分區提示

Regions功能允許為畫面的不同區域設定獨立的提示詞，例如讓人物、背景和服裝使用不同的描述方式。當區域與Krita的圖層結合後，使用者就能更精確地控制多個主體所構成的場景，而不必把所有的要求都塞進一個提示詞中。

區域重疊或邊界過硬可能產生衝突，應配合柔和蒙版、圖層順序和全局提示進行調節。

ControlNet精確控制

此插件支援塗鴉、線稿、Canny邊緣、姿勢、深度、法線、分割等ControlNet功能。使用者可以從現有的圖層中產生控制圖，或是導入外部參考資料，以此來規範構圖、輪廓、人體姿勢以及空間關係。

控制模型必須與基礎模型架構相容。SDXL的ControlNet無法直接用於Flux，模型組合錯誤會造成載入失敗或結果失控。

參考圖與IP-Adapter

參考圖像可以引導風格、構圖、人物和物體的特徵。IP-Adapter等功能比純提示詞更易於維持視覺方向，但若參考圖像的權重過高，則會壓制創意變化，甚至複製輸入內容中的缺陷。

使用真人、品牌、角色設定和他人作品時，應確認授權範圍，不能把技術上的可參考誤解為自動獲得商業權利。

支援的基礎模型

插件支援的架構會隨版本更新而改變。每個Checkpoint、LoRA、ControlNet和IP-Adapter都有其各自的許可證、觸發詞與資源要求，因此不能僅依據插件的GPL許可證來判斷所產生內容的商業授權狀況。

Style與LoRA

Style可儲存基礎模型、提示詞模板、採樣設定以及擴展模型組合，便於在專案中重複使用一致的視覺風格。LoRA可透過檔案選擇上傳至本地或遠端後端，並可設定觸發詞與預設強度。

多個LoRA疊加可能互相干擾並增加顯存使用。正式製作應為每個風格保留經過驗證的組合和示例圖。

超解析度與分塊處理

Upscale可利用超分模型來提升圖片尺寸，並可選擇Refine upscaled image以進一步使用擴散模型來補充細節。大型圖片會被分割成多個小塊來逐一處理，這樣就能避免一次性耗盡顯存。

分塊時可能會出現接縫、重複的紋理，以及局部的風格差異。在放大後，則需要特別檢查人物臉部、文字和幾何圖案等部分。

編輯模型與文字指令修改

相容的編輯模型允許透過文字描述來修改圖像，例如調整光線、顏色、服裝或物體。編輯模型可以減少手動遮罩的步驟，但可能同時改變用戶並未要求的區域，因此適合先在副本圖層上進行測試。

連接方式與成本對比

Krita與插件本身均可免費使用。本地方案沒有官方訂閱費，但模型下載通常至少需要10GB，安裝多套可選模型達到50GB以上並不罕見。

Interstice雲端的當前金額未在公開手冊穩定展示，應登入服務頁面確認套餐、額度及地區稅費。

安裝教學

1. 先安裝受支援版本的Krita。
2. 從官方GitHub Release下載插件壓縮包，不要直接下載倉庫源碼快照來代替發布包。
3. 在Krita中使用Python插件導入器安裝並重啟軟體。
4. 在Settings的Dockers中啟用AI Image Generation面板。
5. 點擊Configure，選擇自動安裝本地後端、連接現有ComfyUI、遠端伺服器或雲服務。
6. 按需下載基礎工作負載與可選模型，先用低解析度文件測試。

本地硬體與平台

插件介面可在Windows、Linux和macOS上運行，ComfyUI後端支援的平台仍在持續擴充中。該專案主要持續測試Windows和Linux上的NVIDIA GPU，這通常是最穩定的本地運作方式。

AMD、Apple Silicon以及其他後端硬體是否可用，取決於PyTorch、ComfyUI以及模型的架構。當顯存不足時，可以降低畫布大小、批次處理的數量以及模型的規模，或者改用遠端的GPU。

只有CPU通常速度很慢。

Flatpak與AppImage注意

Linux Flatpak版的Krita所使用的沙箱機制，可能會阻礙某些後端軟體套件的安裝。官方手冊建議，若需要本地自動安裝的話，應使用AppImage格式。或者，也可以將後端軟體安裝在獨立的目錄中，再透過網路連接來使用它們。

自訂ComfyUI相容

高級用戶可以連接到自己的 ComfyUI 伺服器，但插件必須遵循特定的節點與工作流程規範。如果 ComfyUI、comfyui-tooling-nodes 和 comfyui-inpaint-nodes 等組件的版本不相容，就會出現錯誤。

升級插件後應同步檢查後端。

它並非能將任意的 ComfyUI 節點圖直接顯示在 Krita 中的通用前端。自訂節點可能無法被插件工作流調用，因此，在實際使用時應使用已經過測試、確定能正常運作的版本。

遠端存取安全

遠端ComfyUI不應在未經認證的情況下暴露於公網。團隊部署時需要反向代理、HTTPS、身分認證、防火牆、檔案大小限制以及獨立的作業目錄。

模型上傳與自訂節點應只允許可信來源。

隱私與數據

本地後端可讓提示詞、畫布和模型留在自己的設備上。遠端或雲端模式會把必要圖片和參數發送到伺服器，處理敏感客戶素材前應核實雲服務的資料保留、訓練使用和刪除政策。

開源許可證

Krita AI Diffusion採用GPL-3.0或更高版本的許可證，其原始碼、問題回報以及版本更新皆在官方的GitHub倉庫中公開。Krita本身也是開源軟體，但ComfyUI的自訂節點、模型權重以及雲端服務則各自適用不同的許可證規定。

生成圖片不會僅因使用GPL插件就自動變成GPL作品，不過其商業使用仍受模型、LoRA、輸入素材和當地法律影響。

Krita AI Diffusion使用教學

建立可重複使用的專業工作流

1. 建立品牌顏色、字體、構圖和禁止元素清單；
2. 分別測試文生圖與畫布創作、選區局部重繪和擴圖與畫布延伸；
3. 用同一組代表素材比較品質、速度和成本；
4. 把複雜邊緣、文字和關鍵商品圖交給人工精修；
5. 統一命名、尺寸與審核狀態；
6. 透過抽檢後再批量處理和發布；

適合哪些用戶？

• 希望在Krita中直接使用AI的插畫師；
• 需要手繪與生成式局部修復結合的創作者；
• 使用Flux、SDXL或動漫模型的本地繪圖用戶；
• 需要ControlNet、區分提示和參考圖控制的設計師；
• 已有ComfyUI伺服器並希望接入專業畫布的團隊；
• 重視離線隱私和開放源代碼的使用者。

主要優勢

• AI結果直接進入Krita圖層和選區工作流；
• 免費開源，可選擇本地、遠端或雲端後端；
• 支援多種現代與經典擴散模型架構；
• 覆蓋局部重繪、擴圖、即時繪畫和超解析度；
• 提供ControlNet、參考圖、Regions和LoRA控制；
• 保留傳統數位繪畫工具進行人工精修。

限制與注意事項

• 本地模型佔用大量磁盤和顯存，安裝與版本相容性比純網頁工具複雜；
• 插件、ComfyUI、節點和模型需要配套更新，非NVIDIA平台的性能與穩定性差異較大；
• AI輸出仍可能產生結構、文字和一致性錯誤；
• 開源不等於模型可自由商用，也不代表第三方雲服務免費或數據完全留在本地；

常見問題

Krita AI Diffusion免費嗎？

插件和本地運行免費開源；自有硬件、雲GPU或Interstice Cloud會產生相應成本。

必須安裝ComfyUI嗎？

必須連接相容的後端，但可以讓插件自動安裝，也可以連接現有的或遠端的 ComfyUI，無需單獨操作節點介面。

支援Flux和SDXL嗎？

支援Flux 2、Z-Image、SD 1.5、SDXL和Illustrious等架構，具體能力取決於插件版本與已安裝模型。

可以局部重繪和擴圖嗎？

可以，Krita選區可直接用於生成填充、移除物體和畫布擴展。

支援macOS和AMD嗎？

插件介面支援常見平台，但本地後端的效能與相容性則由ComfyUI、PyTorch及硬體決定，NVIDIA的Windows與Linux是主要的測試環境。

插件開源嗎？

開源，採用GPL-3.0-or-later許可證。