StableDiffusionComfyUI进阶教程(一):Controlnet线条预处理器
前言:
我们在前面的基础教程中已经知道怎么去连接 Controlnet 了,接下来我们就要去了解一下不同的 Controlnet 预处理器以及 Controlnet 模型分别有什么效果和作用;我们先从最常用的“线条预处理器”开始,这也是我们最常用的预处理器之一,我们做动漫转真人、真人转动漫、线稿上色等效果时必用的一个预处理器;我们会在“Controlnet 预处理器-线条”线条里面发现 14 个不同的预处理器,插件作者一直在更新,也许过段时间大家会看到更多的预处理器。一、线稿
1. Canny 细致线预处理器:
①介绍:识别图像中的边缘信息,并生成物体的线稿。生成的线条十分明显,粗细、颜色一致,没有大的变化。
②阈值(数值区间:0-255):
低阈值:控制弱边缘检测阈值,数值越低线条越复杂/细节越丰富,数值越高线条越简单/细节越少;高阈值:控制强边缘检测阈值,数值越低线条越复杂/细节越丰富,数值越高线条越简单/细节越少;
③对应模型:
SD1.5 模型:control_v11p_sd15_canny、t2iadapter_canny_sd1.5v2
SDXL 模型:control-lora-canny-rank128、control-lora-canny-rank256
④效果预览:
2. HED 模糊线预处理器:
①介绍:从图像中提取边缘线,相对于 Canny 处理的锐利边缘线,HED 提供了边缘过渡,可以保留更多柔和的边缘细节,类似手绘效果(好处:通过线条区分画面层次,以及图像中的柔和边缘。能更好的融入画面,减少画面细节的突兀)
② 稳增:开启后会使提取的线条明暗对比更明显,模糊内容也会减少。选择是否增稳,具体看图片生成效果。
③对应模型:
SD1.5 模型:control_v11p_sd15_softedge
SDXL 模型:暂无
④效果预览:
3. PidiNet 模糊线预处理器:
①介绍:与 HED 类似,从图像提取(有过渡)边缘,因为算法不同,效果也略有差异;
②稳增:开启后会使提取的线条明暗对比更明显,模糊内容也会减少。选择是否增稳,具体看图片生成效果;
③对应模型:
SD1.5 模型:control_v11p_sd15_softedge、control_v11p_sd15_scribble、t2iadapter_sketch_sd15v2
SDXL 模型:暂无
④效果预览:
4. TEEDPreprocessor:
①介绍:与 HED 类似,从图像提取边缘以及柔和边缘过渡,但线条细节更丰富;
②safe_steps:数值越小,柔和边缘过渡区域越小;数值越大柔和边缘过渡区域越大;(数值区间:0-10,0 与 10 效果相同)
③对应模型:
SD1.5 模型:control_v11p_sd15_softedge
SDXL 模型:controlnet-sd-xl-1.0-softedge-dexined
④效果预览:
5. LineArt 艺术线预处理器:
①介绍:从图像中提取艺术线条风格的边缘线,相较于 Canny,Lineart 提取的线稿更加精细,细节更加丰富;
②粗糙化:开启后线条会变的粗糙潦草,控制效果也会减弱;
③对应模型:
SD1.5 模型:control_v11p_sd15_lineart
SDXL 模型:暂无
④效果预览:
6. LineArtStandard 艺术线预处理器:
①介绍:从图像中提取艺术线条风格的边缘线,相较于 LineArt 艺术线预处理器,增加了亮面和暗面过渡区域(美术生小伙伴肯定熟悉,这就是我们画画时常说的明暗交界线)
②Guassian_sigma:用来控制高斯模糊的数值大小;数值越小,亮暗面过渡区域越小;数值越大,亮暗面过渡区域越大;(数值区间:0-100)
③强度阈值:数值越小,亮暗面过度区域越大;数值越大,亮暗面过度区域越小;(数值区间:0-16)
④ 对应模型:
SD1.5 模型:control_v11p_sd15_lineart
SDXL 模型:暂无
⑤效果预览:
7. AnimeLineArt 动漫艺术线预处理器:
①介绍:从图像中提取动漫艺术线条风格的边缘线,相比 LineArt 艺术线预处理器增加了类似 HED 的模糊过度细节,不全是纯粹的细线了。
②对应模型:
SD1.5 模型:control_v11p_sd15s2_lineart_animeSDXL 模型:暂无
③效果预览:
8. MangaAnime 漫画艺术线预处理器:
①介绍:从图像中提取漫画艺术线条风格的边缘线,轮廓凌厉且分明,适用从漫画风格图像中提取线条
②对应模型:
SD1.5 模型:control_v11p_sd15s2_lineart_anime
SDXL 模型:暂无
③效果预览:
9. M-LSD 线段预处理器:
①介绍:从图片中提取直线线段,弯曲线条不会被提取,多用于建筑设计、室内设计;
②刻痕阈值:低于阈值的线条不被检测为边缘,数值越小线越多/也会越乱,数值越大线越少/也会越简单;
③距离阈值:线条间的距离低于阈值时会被合并,数值越小线越多/也会越乱,数值越大线越少/也会越简单;
④对应模型:
SD1.5 模型:control_v11p_sd15_mlsd
SDXL 模型:暂无
⑤效果预览:
10. Diffusion Edge:
①介绍:从图像提取边简单边缘线(此预处理器我为找到未找到官方介绍以及算法介绍);
② environment:针对 indoor(室内)、urban(城市)、natrual(自然)图像进行选择处理;
③patch_batgh_size:未发现明显区别;(数值区间:1-16)
④对应模型:未找到官方推荐模型,图像处理效果偏向于 canny、lineart,可使用这几种预处理器对应的模型,我试了一下,效果都挺不错的;
⑤效果预览:
二、涂鸦
1. Scribble 涂鸦预处理器:
①介绍:使用涂鸦化算法转换图像颜色为黑白(控制效果没有 Canny 或 HED 严格);
②对应模型:
SD1.5 模型:control_v11p_sd15_scribbleSDXL 模型:暂无
③效果预览:
2. Binary 二值化预处理器:
①介绍:Binary 二值化预处理器属于涂鸦类型的预处理器,使用涂鸦算法把图像颜色转换为黑白(Scribble 涂鸦预处理器的可调节版,控制效果没有 Canny 或 HED 严格);
②阈值:当色值高于阈值的像素会被处理为 1(白色),低于阈值的像素会被处理为 0(黑色),(当阈值为 0 时,效果与 255 相同)
③对应模型:
SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无
④效果预览:
3. ScribbleXDoG 涂鸦预处理器:
①介绍:Scribble 与 XDoG 结合,可通过 XDoG 阈值来控制细节。
②阈值:数值越低,处理的图像越复杂/线条越多;数值越高,处理后的图像越简单/线条越少(数值区间 0-64)
③对应模型:
SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无
④效果预览:
4. FakeScribble 伪涂鸦预处理器:
①介绍:提取图像中黑白分明的边缘线并生成类似涂鸦效果的草图线条,类似于灵魂画手画出来的画(哈哈哈,能知道是什么样的了吧)。正因为生成的线条比较粗犷,所以他的控制效果比上述几种涂鸦效果还弱,只能进行粗略控制,但是他非常适合对我们随手涂鸦的“大作”进行转绘。
②阈值:开启增稳会略微增加线条细节,实际上区别不是太大;
③对应模型:
SD1.5 模型:control_v11p_sd15_scribble
SDXL 模型:暂无
④效果预览:
- 免责声明
- 本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。