跳转到内容

【SD】多角色Lora同时出现的方法,想磕的CP随便磕

📗

作者:白马少年 |公众号:【 白马与少年】

介绍:SD实践派,出品精细教程

发布时间:2023-08-21 20:00

原文网址:https://mp.weixin.qq.com/s/4GD-nK3RpsErOL7hsmT-qg

在Stable Diffusion中,想要实现画面出现多人物是不难的,你只需要在提示词中输入2girls,或者3boys等数量词,再加上一些各自的描述提示词就可以了。如果嫌刷图成功率不高,还可以配合openpose控制,做一个多人骨架,就可以生成一个多人物构图了。

但是呢,同一个模型出来的人物,脸部还是太雷同了,想要区分人物还得使用不同的Lora。接下来,我使用的两个lora,分别来自最终幻想7中的人气角色——蒂法和爱丽丝。

我们输入一段提示词:(2girl:1.2),absurdres,8k uhd,1girl,cute,red shoes,taut shirt,black skirt,<lora:tifav2:1>,1girl,cropped jacket,hair bow,bracelet,pink dress,<lora:aerith-nvwls-v1-final:1>,garden background,flowers,magnolias,apple tree,close up portrait。分别描述这两个lora所对应的形象,但是结果却发现人物的特征全部混合在了一起,说明单纯靠提示词这样是行不通的。

这里我们需要用到一个分区控制的思路,我总共写过两篇可以用来分区绘图的文章,分别是Multidiffusion和Latent Couple:

#Multidiffusion

我们先来看看Multidiffusion的做法。首先,启用Tiled Diifusion,打开分区提示词控制,创建一个文生图画布。

启用区域1,作为背景,填写关键词:花园背景,鲜花,木兰,苹果树

启用区域2,作为前景,填写关于蒂法的描述词和lora。

启用区域3,作为前景,填写关于爱丽丝的描述词和lora。

通过刷图,我发现这样几乎很难生成两个刚好在一起的人物。因为multidiffusion的分区原理是分图层绘画,然后通过边缘羽化将图层融合在一起,但是这样的操作会导致画面的连续性很低,两个人物变得毫无关联。

我们增加一个controlnet的openpose控制,来稳定住两个人物。

生成好了,我们来看一下。人物确实是分开了,但是lora的控制不是很强,特别是右边的爱丽丝看起来不太像。不如刚才没加controlnet之前爱丽丝的效果好,说明同时生成两个lora人物对于Multidiffusion来说还是有难度的。

#Latent Couple+Composable Lora

我们再来看看Latent Couple的做法。在我之前讲解Latent Couple的文章中,我使用的是手绘蒙版的方式,进行的分区,这次,我来换一种更精确的方式。

使用矩形进行分区。

为了看懂这个分区原理呢,我们需要做一点数学理解。这三串数字,分别代表着全图、人物1和人物2。

1:1的含义就是将画面分割成一行一列,等于就是没有分割,所以背景就是一张完整的图。

后面两个人物的数值是1:2,即分为一行两列;如果想做三个人物,就可以分三份,即1:3。

分区位置,因为是从0开始计数,所以我们在理解的时候需要给对应的数字加上1。比如我们的第一个人物坐标为0:0,那么她所在的位置就是第一行第一列,也就是画面的左边。

第二个人物坐标为0:1,那么她所在的位置就是第一行第二列,也就是画面的右边。

理解了这个之后,我们就可以自由地控制画面中元素的位置了。比如说,你想把元素控制在图中阴影的这个位置,你的分区方式就是3:3,你的分区位置就是1:2。

如果想把元素控制在图中阴影范围的话呢,你的分区方式就是3:3,你的分区位置就是1:1-3。(使用“-”符号来进行范围控制)

我们可以用可视化预览来验证一下,算得对不对。

最后,还有一个权重控制,这个很好理解,根据你的需求进行调整就行了。注意背景权重不要太高,不然会影响你的主体人物。

当然,我们今天的这个案例不需要太复杂的参数设置,只要分成左右两等分就可以了。这个矩形分区的好处就是,无论你后面的画面尺寸怎么变,改成横的还是竖的,这个比例分区都不会变。

同样,我还是用openpose来控制一下人物的位置。(不要太指望AI的随机抽卡,想要合适的动作可能要抽很久……)

最后,我们设置一下提示词,使用AND语法引出两个lora。

点击生成,可以看到目前的lora还是一个混合的状态,我中有你,你中有我。

这个时候就需要祭出我们的最终武器——Composable Lora安装方式就是在扩展面板中搜索composable lora,可以直接安装。或者是将下载好的插件,放在这个路径文件夹下“……\sd-webui-aki-v4\extensions”。重启就可以看到它,然后我们直接点击启用即可。

点击生成,lora就完美地分开了,再也没有互相污染的情况发生。

我们可以再使用一些不同的openpose来控制一下,看看其他的图片怎么样。

以上,就是精确控制画面分区使用不同lora角色的方法,你心里有哪些难以割舍的CP,试试将他们组一组吧,可以磕到天荒地老。

如果想要以上插件的话,可以添加我的公众号【白马与少年】,回复【SD】即可。

-END-