AI 繪畫想更精準(zhǔn)控制？ControlNet 來幫你！今天帶你快速了解 ControlNet，學(xué)會(huì)用它實(shí)現(xiàn)對(duì) AI 生成圖像的姿勢、線稿、場景等多方面的控制。

目錄

• ControlNet 模型分類

•  模型的安裝及使用前準(zhǔn)備 

•  常用模型實(shí)戰(zhàn)演練

演示效果1：利用Canny 邊緣檢測模型，生成一個(gè)新的美女圖片

演示效果2：利用Canny 邊緣檢測模型，使一個(gè)房子產(chǎn)生起火特效

演示效果3：利用control_scribble邊緣檢測模型，生成一張新的汽車圖片

演示效果4：利用深度圖模型（control_depth），生成一張新的家居設(shè)計(jì)圖片

演示效果5：利用法線圖模型（control_normal），生成一個(gè)房子被冰雪覆蓋的效果。

演示效果6：利用人體姿態(tài)模型（control_openpose），按骨架姿勢生成一個(gè)相同姿勢的圖片。

ControlNet 模型有多種類型，每種對(duì)應(yīng)不同的控制條件，以實(shí)現(xiàn)對(duì)圖像生成的多樣化控制，一共有以下幾種類型：

（一）邊緣檢測類

• Canny 邊緣檢測模型（control_canny）：Canny 是經(jīng)典的邊緣檢測算法，該模型利用其檢測出的圖像邊緣信息，引導(dǎo)生成圖像具有清晰的輪廓，常用于動(dòng)漫、插畫創(chuàng)作中突出物體外形。

• Sobel 邊緣檢測模型（control_sobel）：Sobel 算子通過計(jì)算圖像灰度的近似梯度來檢測邊緣，此模型生成的邊緣相對(duì) Canny 更簡潔，適用于快速生成簡單線條畫等場景。

• Laplacian 邊緣檢測模型（control_laplacian）：Laplacian 是二階導(dǎo)數(shù)算子，對(duì)圖像中的灰度突變敏感，該模型能突出圖像細(xì)節(jié)和微小邊緣變化，可用于微觀圖像或精細(xì)圖案生成。

• HED 邊緣檢測模型（control_hed）：HED（Holistically - Nested Edge Detection）是基于深度學(xué)習(xí)的邊緣檢測方法，能檢測出更豐富準(zhǔn)確的邊緣信息，適用于對(duì)邊緣精度要求高的任務(wù)，如醫(yī)學(xué)圖像分析。

• Fake Scribbles 模型（control_scribble）：允許用戶以類似手繪草圖的方式繪制大致邊緣，模型根據(jù)這些涂鴉式的邊緣信息生成圖像，給予用戶更大的創(chuàng)作自由度。

（二）深度與法線類

• 深度圖模型（control_depth）：深度圖反映圖像中各點(diǎn)到相機(jī)的距離，該模型利用深度信息生成具有真實(shí)空間感和深度層次的圖像，常用于 3D 游戲場景、室內(nèi)設(shè)計(jì)效果圖制作。

• 法線圖模型（control_normal）：法線圖記錄物體表面的法線方向，此模型能為生成圖像添加逼真的光照和陰影效果，增強(qiáng)物體的立體感和真實(shí)感，常用于動(dòng)畫和游戲角色場景制作。

（三）人體姿態(tài)類

• OpenPose 人體姿態(tài)模型（control_openpose）：OpenPose 可檢測人體關(guān)鍵點(diǎn)并形成骨骼結(jié)構(gòu)，該模型能讓生成的人物圖像符合特定的姿態(tài)，在動(dòng)漫角色設(shè)計(jì)、動(dòng)作捕捉動(dòng)畫中應(yīng)用廣泛。

• MediaPipe 人體姿態(tài)模型

（四）語義與色彩類

• 語義分割圖模型（control_seg）：語義分割將圖像像素分配到不同語義類別，該模型根據(jù)語義信息生成具有特定物體分布和類別特征的圖像，可用于城市規(guī)劃、場景設(shè)計(jì)等。

• 著色參考圖模型（control_color）：以一張帶有顏色信息的圖像為參考，控制生成圖像的色彩分布、色調(diào)和飽和度，幫助實(shí)現(xiàn)特定的色彩搭配和風(fēng)格，常用于藝術(shù)創(chuàng)作、廣告設(shè)計(jì)。

（五）其他特殊類

• Tile 圖案模型（control_tile）：能讓生成圖像具有規(guī)律性的重復(fù)圖案特征，常用于壁紙?jiān)O(shè)計(jì)、紡織品圖案設(shè)計(jì)等。

• 關(guān)鍵點(diǎn)圖模型（control_keypoints）：通過標(biāo)記圖像中的特定關(guān)鍵點(diǎn)，為模型提供圖像結(jié)構(gòu)和特征信息，輔助圖像編輯、對(duì)齊和物體生成等任務(wù)。

• 卡通線條圖模型（control_lineart）：以卡通風(fēng)格的線條圖為輸入，生成具有相似卡通風(fēng)格的圖像，在動(dòng)漫制作、兒童繪本設(shè)計(jì)中應(yīng)用較多。

  【關(guān)于controlnet1.1版本 文件格式說明  】

  
  

1、安裝環(huán)境

首先要安裝好 Automatic1111 Web UI，這是一個(gè)便捷的操作界面。要確保已經(jīng)安裝了 Python（建議 3.10 及以上版本）和 Git。通過命令行克隆項(xiàng)目倉庫：git clone https://github.com/AUTOMATIC1111/stable - diffusion - webui.git，進(jìn)入項(xiàng)目目錄后，Windows 系統(tǒng)運(yùn)行 webui - user.bat，Linux/Mac 系統(tǒng)運(yùn)行webui.sh 完成安裝。

2、安裝擴(kuò)展

打開 Web UI，點(diǎn)擊 “Extensions” 選項(xiàng)卡，切換到 “Available” 子選項(xiàng)卡，點(diǎn)擊 “Load” 加載可用擴(kuò)展列表。在搜索框輸入 “ControlNet”，勾選后點(diǎn)擊 “Install” 安裝，安裝完成點(diǎn)擊 “Apply and restart UI” 重啟。

3、下載模型

ControlNet 有多種模型，可從 Hugging Face 等平臺(tái)下載，如 Canny 邊緣檢測模型 control_canny - fp16.safetensors。將下載的模型文件放在stable - diffusion - webui/extensions/sd - webui - controlnet/models 目錄下。

操作步驟2：啟動(dòng)controlnet，選擇模型與上傳圖像

向下滾動(dòng)找到 “ControlNet” 面板，點(diǎn)擊 “啟用。

在 “Model” 下拉菜單中選擇所需模型，如使用 Canny 邊緣檢測，就選 control_canny - fp16.safetensors。點(diǎn)擊 ControlNet單元0“上傳圖片”，點(diǎn)擊預(yù)處理圖標(biāo)。我們發(fā)現(xiàn)Web UI 已經(jīng)自動(dòng)進(jìn)行 Canny 邊緣檢測并顯示出了結(jié)果。

操作步驟3：設(shè)置提示詞，調(diào)整參數(shù)

參數(shù)設(shè)置：將圖片尺寸與原始圖片調(diào)到一致（點(diǎn)在預(yù)處理右下角，向上的那個(gè)箭頭），圖片生成批次調(diào)成2，控制模式 可以選偏向提示詞，我這里選的是：均衡。其他可以根據(jù)需要調(diào)整，也可以默認(rèn)不變。

操作步驟4：生成圖片 點(diǎn)擊生成按鈕，這樣我們根據(jù)Canny模型生成的邊緣輪廓及提示詞意愿繪制出一張新圖。

操作步驟5：優(yōu)化和調(diào)整 。若結(jié)果不滿意，可調(diào)整參數(shù)再次生成。生成滿意圖像后，點(diǎn)擊保存按鈕選擇路徑和格式保存。

• Control weight（控制權(quán)重）：該參數(shù)決定了模型控制信息對(duì)最終生成圖像的影響程度。數(shù)值為 1 時(shí)，生成圖像高度遵循控制信息；接近 0 時(shí)，控制信息影響減弱，生成結(jié)果更依賴文本提示。初始可設(shè)為 0.8 - 1，再根據(jù)效果調(diào)整。

• Guidance start（引導(dǎo)開始）和 Guidance end（引導(dǎo)結(jié)束）：控制在圖像生成過程中，模型控制信息從哪個(gè)步驟開始起作用以及到哪個(gè)步驟結(jié)束。例如，設(shè) “Guidance start” 為 0.2，“Guidance end” 為 0.8，表示在生成過程的 20% - 80% 階段應(yīng)用控制信息引導(dǎo)。

• Resize mode（調(diào)整大小模式）：根據(jù)圖像特點(diǎn)和需求選擇合適的調(diào)整方式，如 “Just resize”（直接調(diào)整大?。?、“Crop and resize”（裁剪并調(diào)整大小）等。

設(shè)置提示詞和其他參數(shù)

通過以上步驟，你就能熟練使用 ControlNet 模型，創(chuàng)作出符合自己需求的精彩圖像。

Canny 邊緣檢測模型（control_canny）

Canny 是經(jīng)典的邊緣檢測算法，該模型利用其檢測出的圖像邊緣信息，引導(dǎo)生成圖像具有清晰的輪廓，常用于動(dòng)漫、插畫創(chuàng)作中突出物體外形。

演示效果2：利用Canny 邊緣檢測模型，制造房子著火特效。

操作同演示效果1，此處步驟省略。

提示詞輸入：intense fire engulfing a house,a burning house with thick smoke and bright flames,

control_scribble邊緣檢測模型（control_scribble）

允許用戶以類似手繪草圖的方式繪制大致邊緣，模型根據(jù)這些涂鴉式的邊緣信息生成圖像，給予用戶更大的創(chuàng)作自由度。

演示效果3：利用汽車的輪廓，生成一張新的汽車圖片

操作步驟3：設(shè)置提示詞，調(diào)整參數(shù)

參數(shù)設(shè)置：將圖片尺寸與原始圖片調(diào)到一致（點(diǎn)在預(yù)處理右下角，向上的那個(gè)箭頭），圖片生成批次調(diào)成2，控制模式 可以選偏向提示詞，我這里選的是：均衡。其他可以根據(jù)需要調(diào)整，也可以默認(rèn)不變。

操作步驟4：生成圖片 

點(diǎn)擊生成按鈕，這樣我們根據(jù)control_scribble模型生成的邊緣輪廓，及提示詞意愿繪制出一張新圖。（調(diào)整和優(yōu)化同第一個(gè)示例）

操作步驟3：設(shè)置提示詞，調(diào)整參數(shù)

參數(shù)設(shè)置：將圖片尺寸與原始圖片調(diào)到一致（點(diǎn)在預(yù)處理右下角，向上的那個(gè)箭頭），圖片生成批次調(diào)成2，控制模式 可以選偏向提示詞，我這里選的是：均衡。其他可以根據(jù)需要調(diào)整，也可以默認(rèn)不變。

操作步驟4：生成圖片 點(diǎn)擊生成按鈕，這樣我們根據(jù) control_depth模型生成的深度圖估算及提示詞意愿繪制出一張新的設(shè)計(jì)效果圖。（調(diào)整和優(yōu)化同第一個(gè)示例）