【SD】最强控制插件ControlNet（1）附模型下载

📗

作者：白马少年

介绍：SD实践派，出品精细教程

发布时间：2023-05-10 20:00

原文网址：https://mp.weixin.qq.com/s/6ZKnYF0x6pHo-fWMQ66kiQ

Stable Diffusion一直在致力于更精确地控制出图结果，而在这众多的功能中，最突出的要属ControlNet了。

无论是文生图还是图生图，我们更多的是对内容的一个描述，但是如果我们想要更细化一些，比如构图、轮廓、形象姿态、色彩风格等等，单靠文生图或者图生图就不够用了，我们需要一个更强大的控制模块，这时ControlNet也就应运而生。它带来的最大的改变，就是让输出结果能更好的被我们控制了。

关于ControlNet插件的安装，如果是用的秋叶大佬的整合包，就会自带这个插件。如果没有，可以去扩展中搜索ControlNet进行安装。

安装完成之后，就可以看到ControlNet的使用界面了。

ControlNet的使用逻辑是通过预处理器将我们的图片提取特征，并转换为AI可识别的形式，再通过模型将预处理器的结果进行图像生成。说得再直白一点，预处理器就是我们和ControlNet之间的一款翻译软件。

比如，我想绘制一张女孩打篮球的图片，并且想让她模仿库里的这个动作。

接下来，输入关键词：(最好的质量，杰作)，女孩，打篮球，篮球场，认真，球衣，看着观众，受伤，绷带。

大模型选择Toonyou的二次元卡通风格，在ControlNet中导入库里的照片，预处理器选择openpose，点击预处理器右侧的爆炸标志，就可以看到提炼出来的骨骼结构。接下来，使用同样名为openpose的模型，调试参数，点击生成。

可以看到，这张AI绘图就采用我们提供给它的动作参考画了出来，效果相当不错。

那ControlNet的预处理器有多少种呢？我们打开下拉列表就可以看到，目前最新的ControlNet v1.1.150版本，一共有37种。很多同学看到这里估计要懵了，我怎么知道该使用哪一种预处理，并且它会变成什么效果呢？

接下来。我们将这些预处理器做一个分类理解。

线条约束类：它可以通过轮廓线来规定绘图的范围。

canny边缘检测：还是用库里的动作图作为例子，可以看到预处理器精确地找到了人物的轮廓边缘，并且进行了重绘，适用于线条比较精细的图片。

scribble涂鸦：适合粗犷的画风，灵魂画手的拯救器。

softedge软边缘检测：同样是保留轮廓边缘进行绘图，相比于canny，可以看到线条较粗且有柔化的部分，这样的处理对边缘的细节保留得更多，特别是有头发这类细节的时候，但未必有canny刻画的那么细。

lineart线稿提取：这个是ControlNet1.1版本新出的预处理和模型，可能是ControlNet目前最强的线稿上色功能了。

我从花瓣上找了一张线稿图来试验一下，这幅线稿来自画师“原画人”的创作。

我们可以先通过invert预处理将白底黑线处理成黑底白线，因为ControlNet中都是黑色作为背景。

然后，将处理好的图拖到左边重新载入，切换到lineart预处理器和模型进行生成。文生图关键词填写——(Best quality, masterpiece), ((girl)), solo,Blue hair, white clothes,white background。

点击生成，得到上色稿。

我接着用canny模型也绘制了一遍，可以对比一下这两款模型上色的差别，大家自己感受一下。

mlsd直线线条检测：这个线条检测和之前的几个有一些不同，它一般用在建筑或者室内设计上。

可以看到，这个预处理器提炼出了这个室内的结构线。

我们输入关键词：木制、简约、无印良品。点击生成4张图，得到了与原图结构一致的设计图。

好了，今天我们介绍了ControlNet中关于线条约束类的预处理器和模型。这些模型文件我也整理好了，如果想要这些模型的话，可以添加我的公众号【白马与少年】，回复【SD】即可。

最后附上一张图，可以帮助大家理解ControlNet模型的命名规则，以便能够正确地使用模型。

-END-

白马与少年

Stable Diffusion、Blender等学习心得分享

139篇原创内容（持续更新中）

公众号

微信扫一扫 关注该公众号