跳转到内容

【SD】最强控制插件ControlNet(2)姿态约束

📗

作者:白马少年

介绍:SD实践派,出品精细教程

发布时间:2023-05-12 20:00

原文网址:https://mp.weixin.qq.com/s/2FQdeq2Z1aMNbLQ7jbM2IA

上一次,我们讲解了ControlNet里面关于线条约束类预处理器和模型的运用,今天我们来了解一下姿态约束类的模型。姿态约束类:它可以通过生成的骨架来规定绘图中人物的动作和表情。

  • openpose:可以直接解析出人物的动作骨架。

之前给大家演示过了一个模仿库里打球的女孩绘图,就是使用的ControlNet的openpose预处理器。

而最新的ControlNet1.1版本,除了身体姿态以外还增加了更详细的脸部和手部的预处理器。

当然,这些所有的预处理器对应的模型都是openpose。

  • openpose_face:解析姿态和脸部

使用的AbyssOrangeMix2模型做演示,风格不一样,但是还原了人物的表情和动作。

  • openpose_faceonly:仅解析脸部

测试了一下,这个面部识别只对真人和2.5D的形象可以识别,卡通二次元角色不起作用。

  • openpose_hand:解析姿态和手部

有了手部的骨架控制,可以一定程度上解决AI一直以来不会画手的问题,但是当手部骨架与身体骨架重合的时候,还是会产生一些问题,要通过多刷图来筛选。

  • openpose_full:解析姿态、手部及脸部

包含了所有人物信息的预处理器,我们再次请出库里当一下模特,模型使用的国风3,这个动作的模仿也是让人不得不佩服AI的脑洞了。

这张图蛮好看的,我决定来把她细化一下。首先,我们使用之前讲过的扩展图片的方法,将这张图发送到图生图,通过“缩放后留白”和提高重绘幅度,将这张图片的背景变宽。

再次发送到图生图,使用ControlNet中tile模型(这又是一个神器,后面细讲)进行细化。

这时,图片拥有了更精致的细节,最后再使用一次SD放大插件。

完美。

以上,就是关于ControlNet中姿态约束类预处理器的介绍,但是很多时候,我们并不能恰好找到满足我们需求的动作图片拿来给ControlNet解析,那我们可不可以自定义动作骨架呢?答案当然是可以的,作为一个开源软件,各种各样的插件帮手自然是必须有的,这也是我们这么喜欢blender的原因。我们可以在【扩展】-【加载扩展列表】中搜索【posex】,就可以找到这个插件。

如果安装不了,可以直接将我分享的这个插件文件夹拷贝至这个目录下...\sd-webui-aki-v4\extensions,确保软件是最新版本,然后重启。

我们重启软件后来到首页,点击“将图片发送至ControlNet”,就可以得到如下界面。

拖动鼠标左键可以旋转视角。

拖动鼠标中键可以缩放视角。

拖动鼠标右键可以拖动视角。

如果玩坏了,可以点击这里重置镜头和动作。

我们调一个玛丽琳梦露的经典动作来试一试,右边可以调整出图的尺寸。

接下来启用ControlNet,因为骨架图是从posex链接过来的,所以这里不需要再添加图片,也不需要预处理器,直接加载openpose的模型就可以了。

依旧是国风3模型,点击生成,这个姿势就绘制出来了。当然,AI的识别不会这么准确,经常会出现骨骼错位的崩坏图,所以需要你耐心的去刷图和调整参数。

好了,今天我们介绍了ControlNet中关于姿态约束类的预处理器和模型。另外,我这边还收集了一些不同的pose的骨架图,可以在人物动作上做一些参考,有需要的可以添加我的公众号【白马与少年】,回复【SD】即可。

-END-

白马与少年

Stable Diffusion、Blender等学习心得分享

139篇原创内容(持续更新中)

公众号

微信扫一扫 关注该公众号