1-ipa工作流用法
一、图像转绘篇
我将基于ipadapter(简称“ipa”)最新工作流“ipadapter_advanced.json”工作流给大家进行展示。
工作流中controlnet模型(简称“cn”)用来控制ipa生成的图片。
作者:b站up坏心眼猫特效,工作流和模型:https://pan.quark.cn/s/2d0c9a5a9d34
预处理器网络模型的总览如下图:
ipa+cn的总实现框架如下图:
1.1 基于深度学习的重绘
1.1.1
将一张黑白素材图片和一张彩色风格图片进行风格迁移完成转绘。
黑色图片如上,彩色片如下。
最终生成的图片如下图,可以很清楚的看到,原来的黑白素材图片得到了风格上赋能。
也可以生成的四张图片如下图:
补充:可以生成四张(选择下图右边进行与K采样器的latent连接),也可以生成一张(选择左边)
1.1.2步骤及解析
(1)首先先创建节点加载图片:
(2)其次读取一张所需风格的图片作为参考图。
(3)将图像用蓝色的线连接到cn应用如图所示,即通过cn的深度学习模型(SDxl版本,因为checkpoint大模型用的是SDxl版本)。因为采用的是Zoe深度预处理器。
(4)对要生成的图片进行填写提示词。
正向提示词:illustration of clouds and meadows and mountains and trees, calm, executable, high quality
(5)生成(添加到提示词队列)
1.2 基于真实线稿的背景风格重绘
由于该部分的生成效果一般,便不予以展开讲述,下面会介绍一些流程:
将图像用蓝色的线连接到cn应用如图所示,由于是线稿模型,对于的cn模型可以采用深度学习的模型(个人感觉效果更佳),也可以采用“adapter-xl-lineart-fp16.safetensors”线稿模型。
对应的生成图片即可。
1.3 基于黑白线条的图案及背景风格重绘
1.3.1成果展示
将一张黑白图片和一张彩色图片进行风格迁移完成转绘。
黑色图片如上,彩色片如下。
最终生成的图片如下图:
1.3.2步骤及解析
(1)首先先创建节点加载图片:
(2)其次读取一张所需风格的图片作为参考图。
(3)可以将图像用蓝色的线连接到cn应用如图所示,即通过cn的深度学习模型(SDxl版本,因为checkpoint大模型用的是SDxl版本),因为深度学习zoe处理器。
▲具体五种不同的处理器对比,可以参考我的飞书文档:
基于不同的cn模型下的不同预处理器的线稿效果对比 - 飞书云文档 (feishu.cn)
(4)对要生成的图片进行填写提示词。
正向提示词:illustration, bushes,calm, executable, high quality
(5)生成(添加到提示词队列)
1.4 排除bug
1.4.1未将ipa文件下全
首先,在使用本工作流之前,先得运行作者cubiq的ComfyUI_IPAdapter_plus节点文件(ipadapter_simple.json):
节点链接GitHub - cubiq/ComfyUI_IPAdapter_plus
倘若出现bug:
那么会出现有两种原因:
①对应的“预设”在下的文件模块里面没有,把下面六种预设都试过一次看看能不能解决这个问题。
或者对应的“权重类型”上没有:
②照着节点链接GitHub - cubiq/ComfyUI_IPAdapter_plus中所说的安装部分将文件都(除了deprecated“荒废”之外,全部下载)对应着文件夹下载一下(没有ipadapter文件夹的话就手动添加一个)。
1.4.2资源空间不够
对应地看看出错区域(紫色框框部分)是不是分辨率过高
1.4.3文件没下全
使用工作流时请将对应的checkpoint大模型文件下载、cn模型下载,
并且二者对应的版本要一样(比如都是SDxl或者SD1.5)
否则会报错:
二、视频转绘篇
如图,是《仙剑奇侠传》中的名场面转绘。当客户有转绘的需求时,我们应该如何搭载、搭载哪些工作流呢?
我将介绍的是“DomoAI动漫转绘工作流.json”