ComfyUI IPAdapter

🎉

作者：CYCHENYUE

来源：开源的Ai知识库

IPAdapter 是非常强大的图像到图像的条件模型。可以轻松地将参考图像的主题甚至仅仅是风格转移到生成的图像中。可以将其视为一种图像的转换器。

IPAdapter：https://github.com/cubiq/ComfyUI_IPAdapter_plus

拓展插件essentials(效率工具)：https://github.com/cubiq/ComfyUI_essentials (作者集合了很多有用的小功能)

Impact插件(节点包)：https://github.com/ltdrdata/ComfyUI-Impact-Pack

拓展插件Inspire插件(与 impact 同一个作者,上面节点包的扩展)：https://github.com/ltdrdata/ComfyUI-Inspire-Pack

模型下载

图像模型

🏝

模型下载后, 需要严格按照下面的名称命名, 为了使用后面的IPAdapter统一加载器(这个很方便)

图像处理的模型, 这两个模型的区别在于参数量的大小不一样.另外在后续操作时候, 也需要做对应的区分, 注意IPAdpter模型和IPAdapter预处理的对应

CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors, download and rename CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors，下载并重命名
CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors, download and rename CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载并重命名

下载后放入/ComfyUI/models/clip_vision

✍️

这里需要注意的是， clip vison只能编码224x224大小的正方形图片，所以后续使用时候，需要注意下，把图片做一下裁剪，特别是不是正方形的图片。

ipadapter 模型下载

ip-adapter_sd15.safetensors, Basic model, average strength ip-adapter_sd15.safetensors，基础模型，平均强度
ip-adapter_sd15_light_v11.bin, Light impact model ip-adapter_sd15_light_v11.bin，轻型冲击模型
ip-adapter-plus_sd15.safetensors, Plus model, very strong ip-adapter-plus_sd15.safetensors，加强型模型，非常强大
ip-adapter-plus-face_sd15.safetensors, Face model, portraits ip-adapter-plus-face_sd15.safetensors，人脸模型，肖像照片
ip-adapter-full-face_sd15.safetensors, Stronger face model, not necessarily better ip-adapter-full-face_sd15.safetensors，更强大的面部模型，不一定更好
ip-adapter_sd15_vit-G.safetensors, Base model, requires bigG clip vision encoder ip-adapter_sd15_vit-G.safetensors，基础模型，需要大 G 剪辑视觉编码器
ip-adapter_sdxl_vit-h.safetensors, SDXL model ip-adapter_sdxl_vit-h.safetensors，SDXL 模型
ip-adapter-plus_sdxl_vit-h.safetensors, SDXL plus model ip-adapter-plus_sdxl_vit-h.safetensors，SDXL plus 模型
ip-adapter-plus-face_sdxl_vit-h.safetensors, SDXL face model ip-adapter-plus-face_sdxl_vit-h.safetensors，SDXL 人脸模型
ip-adapter_sdxl.safetensors, vit-G SDXL model, requires bigG clip vision encoder ip-adapter_sdxl.safetensors，vit-G SDXL 模型，需要 bigG clip 视觉编码器

都下载好, 放入/ComfyUI/models/ipadapter ，如果不存在则创建

简单的工作流

需要注意的是, IPadapter的模型与预处理器选择也需要于基础模型一致, 比如基础模型选择的是1.5的模型, 那么IPAdapter的模型和预处理也需要是1.5的.不然会报错

这个是旧版本的工作流(新版的使用统一加载器,就可以不用自己去选择对应的模型和 lora,前提是模型的和 lora 的命名需要按照对应的要求, 上面有说)

这里, 我们使用一张图, 给了一个简单的提示词, 使用的face模型,参数图像,生成脸部相似的图片.

需要注意的是, 如果觉得生成的图片还不够像, 可以使用噪波增强来提升一下

💡

ipadpter更新后, 添加噪声的方法有改变, 是使用图片来添加, 这个比较重要, 后面会展开来讲.

FaceID

在 ipdapter 里面的 faceID 其实是引入了insightface

insightface项目 : https://github.com/deepinsight/insightface

nsightFace 是一个开源的 2D&3D 深度人脸分析工具包，主要基于 PyTorch 和 MXNet。

所以使用FaceID 需要 insightface , 因为IPAdapter的 FaceID 实现是集成了insightface, 并且在insightface的基础上做了升级.

先安装,这边以秋叶的启动器为例子.

💡

请记住，大多数 FaceID 模型还需要一个 LoRA。因为如果遵循命名约定，它将自动加载。否则，必须手动加载它们，请注意每个 FaceID 模型必须与其自己特定的 LoRA 配对

为了使统一加载器正常工作，文件的命名必须与下表中显示的完全相同。

/ComfyUI/models/ipadapter
- ip-adapter-faceid_sd15.bin, base FaceID model ip-adapter-faceid_sd15.bin，基本 FaceID 模型
- ip-adapter-faceid-plusv2_sd15.bin, FaceID plus v2 ip-adapter-faceid-plusv2_sd15.bin，FaceID plus v2
- ip-adapter-faceid-portrait-v11_sd15.bin, text prompt style transfer for portraits ip-adapter-faceid-portrait-v11_sd15.bin，肖像画的文本提示样式转换
- ip-adapter-faceid_sdxl.bin, SDXL base FaceID ip-adapter-faceid_sdxl.bin，SDXL 基础 FaceID
- ip-adapter-faceid-plusv2_sdxl.bin, SDXL plus v2 ip-adapter-faceid-plusv2_sdxl.bin，SDXL plus v2
- ip-adapter-faceid-portrait_sdxl.bin, SDXL text prompt style transfer ip-adapter-faceid-portrait_sdxl.bin，SDXL 文本提示样式转换

/ComfyUI/models/loras

SDXL FaceID LoRA ip-adapter-faceid_sdxl_lora.safetensors，

SDXL FaceID LoRA

ip-adapter-faceid-plusv2_sdxl_lora.safetensors, SDXL plus v2 LoRA ip-adapter-faceid-plusv2_sdxl_lora.safetensors，SDXL plus v2 LoRA

适合的人像模型

Realistic Vision V6.0 B1

https://civitai.com/models/4201/realistic-vision-v60-b1

Prompt: 提示：

RAW photo, subject, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3 原始照片，主题，8k 超高清，单反相机，柔和光线，高质量，胶片颗粒，富士 XT3

Negative Prompt: 负面提示：

(deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime), text, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck, UnrealisticDream （畸形的虹膜，畸形的瞳孔，半写实，CGI，3D，渲染，素描，卡通，绘画，动漫），文本，裁剪，超出画面，最差质量，低质量，JPEG 伪像，丑陋，重复，病态，残缺，多余的手指，变异的手，画得不好的手，画得不好的脸，突变，畸形，模糊，脱水，解剖不良，比例不良，多余的肢体，克隆的脸，畸形的比例，畸形的肢体，缺胳膊，缺腿，多余的胳膊，多余的腿，融合的手指，手指太多，长脖子，不真实的梦境

(deformed iris, deformed pupils, semi-realistic, cgi, 3d, render, sketch, cartoon, drawing, anime, mutated hands and fingers:1.4), (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, disconnected limbs, mutation, mutated, ugly, disgusting, amputation, UnrealisticDream （畸形的虹膜，畸形的瞳孔，半写实，CGI，3D，渲染，素描，卡通，绘画，动漫，变异的手和手指：1.4），（畸形，扭曲，畸形：1.3），画得不好，解剖不良，错误的解剖，多余的肢体，缺失的肢体，浮动的肢体，脱节的肢体，突变，变异，丑陋，恶心，截肢，不真实的梦境

💡