第十二期 表情转移术LivePortrait
活动主题
静态肖像生成动态视频, 🙂 笑容不会消失, 只会转移
教程
- 在 comfyui里使用工作流,模型 https://pan.baidu.com/s/1Fk-GTXLmM0Ofynz04NfCaQ?pwd=cycy
- 安装包解压即用 链接：https://pan.baidu.com/s/1fh9vvLk8OHuIlCJxD7jiBg?pwd=282n
提取码：282n
LivePortrait：通过一张静态肖像生成动态视频
LivePortrait可以精确控制眼睛和嘴唇的动作，还能无缝拼接多个肖像，将不同人物特征合并成一个视频，确保过渡自然流畅。因为使用了一种不同于主流扩散方法的隐式关键点框架。该框架在计算效率和可控性之间取得了有效的平衡。LivePortrait生成的动画质量优于现有的非扩散和扩散模型方法。在RTX 4090 GPU上，生成速度为每帧12.8毫秒，效率显著高于现有的扩散模型。
静态肖像变得生动的视频生成技术，控制非常精准。
这项技术对AI视频生成中的人物表演和数字人具有很大帮助。
支持各种风格的图片,常见的动物面部迁移,并可以微调面部运动幅度
项目地址 https://github.com/KwaiVGI/LivePortrait
节点地址 https://github.com/kijai/ComfyUI-LivePortraitKJ
准备工作
安装节点LivePortraitKJ
comfyui管理器->节点管理->搜索LivePortraitKJ
拖入工作流, 第一次运行会自动下载的模型(需要网络环境), 没有自动下载可以看下面的liveportrait和insightface.
liveportrait需要的模型文件
网络环境不好, 模型放在网盘里面了, 下载完后，放入 ComfyUI/models/liveportrait 文件夹目录下, 如果没有就新建一个.
原模型文件地址 https://huggingface.co/Kijai/LivePortrait_safetensors/tree/main
网盘地址 链接：https://pan.baidu.com/s/1Fk-GTXLmM0Ofynz04NfCaQ?pwd=cycy
insightface也是需要的
放到 ComfyUI/models/insightface/buffalo_l目录里.
原模型文件地址 https://github.com/deepinsight/insightface/releases/download/v0.7/buffalo_l.zip
网盘地址 链接：https://pan.baidu.com/s/1Fk-GTXLmM0Ofynz04NfCaQ?pwd=cycy
节点
运行时,遇到这个报错, 是因为节点更新了, 按照下面方法修改
效果
测试的参考视频
instantID
目前只支持sdxl
节点地址 ComfyUI_InstantID https://github.com/cubiq/ComfyUI_InstantID?tab=readme-ov-file
主要的模型(ip_adapter.bin),下载后放在 ComfyUI/models/instantid 文件夹里, 没有这个文件夹就新建一个
https://huggingface.co/InstantX/InstantID/resolve/main/ip-adapter.bin?download=true
InsightFace 模型是 antelopev2（不是经典的 buffalo_l）。下载模型，解压并将它们放在 ComfyUI/models/insightface/models/antelopev2 目录中
https://drive.google.com/file/d/18wEUfMNohBJ4K3Ly5wpTejPfDzp-8fI8/view?usp=sharing
还需要一个controlNet模型
https://huggingface.co/InstantX/InstantID/resolve/main/ControlNetModel/diffusion_pytorch_model.safetensors?download=true
放在 ComfyUI/models/controlnet 目录下
上述模型网络环境不好的, 可以在网盘 https://pan.baidu.com/s/1Fk-GTXLmM0Ofynz04NfCaQ?pwd=cycy
补充个云端揽睿的操作：
点创建，进来后等
到“打开应用”按键亮了后，点击进入comfyui界面。
这个界面不要着急，继续等待。等到下面这个界面出来。
然后点击左上角的文件夹。
找到liveportrait，放上视频和照片，就可以愉快的跑图了。
生成的视频是无声的，要效果好，再放进剪映里，加上音轨，ok了。