跳转到内容

1-ipa工作流用法

一、图像转绘篇

我将基于ipadapter(简称“ipa”)最新工作流“ipadapter_advanced.json”工作流给大家进行展示。

工作流中controlnet模型(简称“cn”)用来控制ipa生成的图片。

作者:b站up坏心眼猫特效,工作流和模型:https://pan.quark.cn/s/2d0c9a5a9d34

预处理器网络模型的总览如下图:

ipa+cn的总实现框架如下图:

1.1 基于深度学习的重绘

1.1.1

将一张黑白素材图片和一张彩色风格图片进行风格迁移完成转绘。

黑色图片如上,彩色片如下。

最终生成的图片如下图,可以很清楚的看到,原来的黑白素材图片得到了风格上赋能。

也可以生成的四张图片如下图:

补充:可以生成四张(选择下图右边进行与K采样器的latent连接),也可以生成一张(选择左边)

1.1.2步骤及解析

(1)首先先创建节点加载图片:

(2)其次读取一张所需风格的图片作为参考图。

(3)将图像用蓝色的线连接到cn应用如图所示,即通过cn的深度学习模型(SDxl版本,因为checkpoint大模型用的是SDxl版本)。因为采用的是Zoe深度预处理器。

(4)对要生成的图片进行填写提示词。

正向提示词:illustration of clouds and meadows and mountains and trees, calm, executable, high quality

(5)生成(添加到提示词队列)

1.2 基于真实线稿的背景风格重绘

由于该部分的生成效果一般,便不予以展开讲述,下面会介绍一些流程:

将图像用蓝色的线连接到cn应用如图所示,由于是线稿模型,对于的cn模型可以采用深度学习的模型(个人感觉效果更佳),也可以采用“adapter-xl-lineart-fp16.safetensors”线稿模型。

对应的生成图片即可。

1.3 基于黑白线条的图案及背景风格重绘

1.3.1成果展示

将一张黑白图片和一张彩色图片进行风格迁移完成转绘。

黑色图片如上,彩色片如下。

最终生成的图片如下图:

1.3.2步骤及解析

(1)首先先创建节点加载图片:

(2)其次读取一张所需风格的图片作为参考图。

(3)可以将图像用蓝色的线连接到cn应用如图所示,即通过cn的深度学习模型(SDxl版本,因为checkpoint大模型用的是SDxl版本),因为深度学习zoe处理器。

具体五种不同的处理器对比,可以参考我的飞书文档:

基于不同的cn模型下的不同预处理器的线稿效果对比 - 飞书云文档 (feishu.cn)

(4)对要生成的图片进行填写提示词。

正向提示词:illustration, bushes,calm, executable, high quality

(5)生成(添加到提示词队列)

1.4 排除bug

1.4.1未将ipa文件下全

首先,在使用本工作流之前,先得运行作者cubiq的ComfyUI_IPAdapter_plus节点文件(ipadapter_simple.json):

文件链接ComfyUI_IPAdapter_plus/examples/ipadapter_simple.json at main · cubiq/ComfyUI_IPAdapter_plus · GitHub

节点链接GitHub - cubiq/ComfyUI_IPAdapter_plus

倘若出现bug:

那么会出现有两种原因:

①对应的“预设”在下的文件模块里面没有,把下面六种预设都试过一次看看能不能解决这个问题。

或者对应的“权重类型”上没有:

②照着节点链接GitHub - cubiq/ComfyUI_IPAdapter_plus中所说的安装部分将文件都(除了deprecated“荒废”之外,全部下载)对应着文件夹下载一下(没有ipadapter文件夹的话就手动添加一个)。

1.4.2资源空间不够

对应地看看出错区域(紫色框框部分)是不是分辨率过高

1.4.3文件没下全

使用工作流时请将对应的checkpoint大模型文件下载、cn模型下载,

并且二者对应的版本要一样(比如都是SDxl或者SD1.5)

否则会报错:

二、视频转绘篇

如图,是《仙剑奇侠传》中的名场面转绘。当客户有转绘的需求时,我们应该如何搭载、搭载哪些工作流呢?

我将介绍的是“DomoAI动漫转绘工作流.json