小田：视频转绘制作视频过程中不可或缺的一环

🙂

作者：小田-有问题找小田呀~

这个教程为了方便大家了解转绘和使用转绘工具，目前市面上有很多的视频转绘制工具，包括DomoAI，艺映这种工具只需要上传10-20秒的视频就可以完成视频的风格话转绘。但是很多风格都是统一固定。

🏆

在我们实际操作过程中我们还是希望可控，可操作那就需要借助最老套的办法来实现了，比如今天我们这里要说的就是用Ebsynth进行视频风格化的转绘。当然还有很多别的工具也可以今天我们就介绍这一种工具。

一、转绘教程（Ebsynth Utility）

这里我们要用的工具是Ebsynth Utility ，具体怎么操作和实践的我把步骤分享到下方，后续我们还会对Animatediff的教程（这部分还需要Comfyui基础）这是目前市面上的两种常用的转绘方式

如何选择对应的素材

选取对应的素材

怎么选取对应的素材这个很重要。我最早是做AI赛博机车的于是我那时候就想了能不能把赛博机车的图片动起来了呢。于是就有了咱们第一想法寻找合适的素材（这一步很关键决定后面图像的质量）
只需要记住两点就可以了：主题占画面百分之50以上，举个例子可以看右边的原图你可以发现画面有一半以上是人物和机车在一起。同时你需要保证背景不要太杂乱
尽量不要选择带有特效的视频因为带有特效的视频在后面的制作过程中会突然有那么一瞬间画面抖动非常的严重类似于左边这种图，可以看到在对应帧的时候画面出现了很严重的畸变。这种情况我们要尽量避免在视频过程中出现，前后如果出现了我们可以直接通过后期手段剪辑掉的
看到不错的视频怎么下载下载呢。在抖音和快手平台上面可以点击分享可以找到下载按钮，但是很多情况是没法下载要不下载存在水印，这时候我们复制视频的链接在微信小程序上搜索“一键去水印”复制对应的地址下载下来就可以了这样就是去完水印后的视频了

处理素材

这一步一般情况下是不需要怎么处理的，主要是为了处理片子太长或者去减掉开头或者结尾一些特效，具体怎么操作呢我们可以打开剪影把之前我们下载好的视频导入到剪影中

导入成功后你可以看到你自己的素材将素材拖入之下面的轨道中我们可以看到这个视频最开始的部分使用了特效导致前面1秒掉视频很模糊

这时候我们需要将时间轴拖动到对应视频画面开始正常的部分，点击分割按钮对视频进行分割也可以使用快捷键Crtl+B进行分割。（MAC用户使用...我的看看）

注意事项

选择前面模糊的那段片段点击DELETE键或者退格键把这段片段删除。到此我们将视频进行了一些处理点击右上角的导出按钮导出新的视频就可以了，这里注意一下导出的名称最好使用英文。

以下是注意事项：

这一步还有一个作用就是校准。因为有时候我们下载的视频可能不是标准的视频比例这时候我们也需要丢进去剪影处理一下，如果不处理由于SD图片绘制分辨率按照8的倍数增加即使你在绘制的时候分辨率按照原视频的分辨率进行绘制。在最后视频合成的时候还是会报错的。一定要记得检查
对于你后续老板给你的视频进行缩小，现在很多老板发给你的视频都是4K的我们要知道SD最大只能完成2048*2048的绘制在往上是没办法完成的而且制作的时间也会大幅度上升
一些分辨率确实很模糊的视频干脆直接拒绝，即使客户要求很强烈那还是有办法补救一下的可以先把视频的分辨率提起来在进行绘制如果还是不行那么直接放弃吧。提升分辨率我推荐使用这个插件（TopazVideoAI）具体怎么操作我会放到后面在说。

利用插件完成拆帧和创建蒙版

首先我们需要安装对应的插件，这里我给你准备的离线版本和直接使用git网址进行安装

这里安装完毕记得重启一下你的web ui这是我们可以看到Ebsynth Utility这个标签点进去你会发现一共有8个操作步骤实际上我用下来其实就只有5步

这里你可以看见插件分为左右两边左边是对应的工程配置和具体每个步骤的参数配置，右边则是具体的步骤首先我们需要做的是第一步对视频进行拆帧和创建对应的蒙版。

这里首先需要填写两个参数一个是需要处理视频的路径另一个是需要处理的视频文件。

注意事项：

特别注意一点这里面有几个坑

project directory 这里需要填写的是工程目录，就是你视频存放的目录，视频存放的目录，视频存放的目录
Original movie Path 这里是对应需要处理的视频地址，记住这里要带上具体视频名称包括视频的后缀（.mov.mp4.flv）
一点要是绝对路径，如果是window电脑直接复制你的地址栏上面的地址就可以了如果是用的云端先使用jupyter登陆你的服务器在找到你上传视频的文件夹，点击“+”好找到最下放的命令行。进去以后检查一下是不是你这个视频的地址，如果没问题输入pwd可以直接查看对应的绝对路径地址
这里如果自己用的是本地的秋葉整合包这里是需要自己安装ffm要不是出不来蒙版的，具体这一步操作有点多ffm安装

这里需要配置几个参数，但是通常只需要配置一个就可以了。需要关注的就只有一个参数Masking Method这个是设置蒙版的类型

主要是透明背景，语义分割和透明背景+语义分割

我们一般通常选择第一个透明背景。下面只需要选择对应的Mask Threshold 蒙版阈值我们一般是给到0.05太大太小出来的蒙版会有问题

上面的视频长和高我们保持默认-1 因为自己写的可能会导致画面变现。所以我建议这一步你要想修改直接去剪影修改对应的比例导出。

全部设置完毕后我们点击右边的第一步！！！别点错了，在点击生产按钮！

等待个几分钟应该就好了然后你会看到两个文件夹，frame存放的是拆帧的图片，mask存放的是蒙版图片

到这里恭喜你完成了视频转绘的第一步，对没有听错第一步。是不是已经汗流浃背了。

设置关键帧

这一步是整体的第二步，这里我们需要设置一下对应的参数即可，点击configuration选择步骤二这里可以看到有四个参数分别是最小关键帧间隔，最大关键帧间隔，和关键帧间隔阈值以及最后一个按钮是否将最后一帧作为关键帧这个参数默认开启。

这里我一般将最小关键帧间隔和关键帧间隔阈值设置为4。就是每4帧作为一个关键帧。点击左边的第二步按钮（记住第二步！！搞错了就要从第一步开始了）选择完毕后点击下面的生产按钮就可以了。

最后关键帧抽取完毕后你的工程目录下面会多再多一个文件夹，里面存放的就是我们之前抽取的关键帧

注意事项：

这里有时候也不是完全按照1，4，8，12这么去抽取关键帧。因为这里面如果他检测到比如第8整到12帧运动或者变化不大则有可能按照最大关键帧间隔继续向后4帧继续抽取关键帧。所以看到不一致时不要认为有问题继续往下走就好了！

关键帧转绘图生图测试

这一步就是我们日常的图生图了，这里我们选取在关键帧文件夹中的关键帧进行重绘这里我们主要需要关注两个方面

5.1 关键词编写

因为我们需要做的操作是把所有图片都进行转换所以这里我们关键词尽可能描述出一个大概的画面就可以了。这里我推荐的关键词编写的公式可以是。质量词+人物描述+环境描述+Lora。这里把我的提示词放出来大家可以参考一下我之前赛博风格转绘用到的关键词

正向提示词：

absurdres,incredibly absurdres,artbook,real,photo,((futurism)),photo_(medium),cyberpunk,1boy,(PERFECT FACE:1.2),white_skin,black hair,slender face,ground vehicle,(helmeted:1.2),hat,jacket,long hair,long sleeves,motor vehicle,shoes,sitting,smile,socks,solo,autolinklora:cyberhelmetv0.7:0.6autolink,autolinklora:cyberpunkAI:0.6autolink,cyberhelmet,autolinklora:GlowingRunesAIv4:0.1autolink,GlowingRunesAI_pink,

反向提示词：

sketches,(worst quality:2),(low quality:2),(normal quality:2),lo normal quality,((monochrome)),((grayscale)),skin spots,acnes. skin blemishes,bad anatomy,DeepNegative,(fat:1.2),bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worstquality,low quality,normal quality,jpegartifacts,signature,watermark,username,blurry,bad feet,cropped,poorly drawn hands,poorly drawn face,mutation,deformed,worst quality,low quality,normal quality,peg artifacts,signature,watermark,extra fingers,fewer digits,extra limbs,extra arms,extra legs,malformed limbs,fused fingers,too many fingers,long neck,cross-eyed,mutated hands,polar lowre; bad body,bad proportions,gross proportions,text,error,missing fin missing arms,missing legs,extra digit,extra arms,extra leg,extra foot bear,fewer hands,negative_hand-neg,

注意：这里有有一些很容易被忽视的点

多试几张关键帧的图片最好是看后幅度较大的图片，看一看对应的关键词出现的效果是否一致，在进行相关的调整
觉得OK以后一定要记住你对应这张图的种子数，虽然这个有点玄学但是有时候在后续的批量生成的过程中确实可以明显减少画面的抖动
你可以看一下我这里转绘前后的对比

5.2 ControlNet的选取

这里的ControlNet 一般会两两搭配。这里将两个窍门如果你想让转绘的画面和之前看起来人物整体保持一致就使用tile如果想让AI更有创造力那就考虑使用canny或者Lineart再过来softedge都是可以的。这里我一般使用tile+lineart一起使用，如果你的画面存在一定的景深则需要使用depth。

来看一组用的canny和tile的区别对于生成画面：你能看出来那个使用canny做的那个是tile处理的么？

是不是感觉对于展现的把控各有差异，这个就需要大家不断地去实践了。

这里有一个部分需要强调一下。也是我经常出现的问题。就是用tile转绘的作品你发抖音这种平台有时候可能会被认定和原作品太相似。就给你限流或者直接给你嘎了。但是真的和原作品还是有很大区别的。只能说抖音的规则实在看不明白。

批量跑图脚本设置

当我们对关键帧的图片试验完毕后的得到了满意的画面的时候我们就需要进行批量跑图了，这里我们来到图生图界面点击最下面的脚本按钮

选择Ebsynth Utility这个脚本

你会看到有很多参数，不用担心这里只需要简单的操作一下就可以了。

第一个我们必须要要填写对应的工程文件路径这个路径和我们之前在插件填写的路径是一致的。

接下载一个选项我们要注意一下就是Mask option这个选项。这个选项是控制是否使用蒙版，简单来讲就是是否只需要重绘主体部分这里如果我们需要使用蒙版就维持默认参数不修改

如果你说你不想使用蒙版就像重绘所有画面，那这里把参数调整成如下参数

或者将参数修改成这样

好的我们再往下面看，下面的参数就是ControlNet配置这里可以不用管它保持默认参数就可以了。

这两个配置一般不操作也可以保持默认感兴趣的小伙伴可以自行尝试一下哈~在过来配置脸部裁切

这个配置默认是关闭的，但是开不开可以自己决定，我试验下来是开了以后可以明显改善一下面部崩坏的情况。

这里几个参数大致说一下。

Face Detection method:面部裁切选择（这个不需要动使用默认的即可）

Face Crop Resolution：面部裁切分辨率（这里一般给512即可可以适当缩小或者放大）

Max Crop Size：最大裁切尺寸（保持默认）

Face Denoising Strength：人脸去噪程度（如果本来画面不清晰可以稍微拉高一点）

Face Area Magnification：面部放大倍数（设置越大处理越废时间）

至于这个选项如果开启了则会按照你下方的提示词来对裁切后的面部进行重绘。好了到这里所有的参数都设置完成了点击生成按钮。耐心等待就好了~。最后会在你的工程文件夹中生成一个img2img_key的一个文件夹

注意事项：

你以为这就结束了？这里面还是有很多细节的我需要在这里提醒你一下。

检查一下你的参数。

尤其是我框起来的这两个参数很多时候我们在试图的时候会一次性抽卡几张，如果忘记选择你就等着重来吧。因为你的一张关键帧会生成4张图。。

检查一下ControlNet有没有启用，别到时候图跑完了发现没有一张可用。

在执行脚本的过程中可以在查看一下img2img_key的图片是否满意如果不满意可以即时更改并且修改相关参数，以免耽误太多时间。
对于生成完成的图片记得自己都看一遍对于不满意的几张可以自己进行单独的修改或者重绘。

生产.ebs文件

这是整个工作流里面最简单的一步了，我们回到Ebsynth Utility这个插件中选择第五步！第五步！第五步！

点击下面的执行等待大概几秒钟就可以生成几个.ebs文件

这一步唯一会出错的就是，img2img_key的图片和video_frame 图片分辨率不一致导致无法生成.ebs文件，划重点

执行第六步利用Ebsynth补帧

到这一步就彻底需要在本地使用Ebsynth软件来进行补帧了，这里我给你准备了具体的下载地址：https://ebsynth.com/

点击下载以后，进行解压。找到你之前工程的文件夹。点击.ebs文件，这里需要注意一下，你第一次使用的时候，点击右键选择打开方式找到对应的ebs启动文件。选择一下后续就可以直接点击.ebs进入ebs界面了

这里面的参数其实不需要怎么去关注，就是需要强调几点。首先如果你要使用蒙版那么把Mask后面的开关打开，如果不用就把mask后面的开关关闭。其次是点击advanced 这个选项将User GPU 选择 ON 上面的Synyhesis Detail选择high

这时候再点击下方的Run All等待运行完成你会得到如下文件

这里面就是结合关键帧进行补帧完成后的文件。

这里需要注意点的是.ebs文件可以一次执行很多个，但是需要你的电脑给力才可以。如果跑太多了会死机哈，这时候就把已经生成的out文件删除了减少一次执行的个数，重新来过就行了

合成转绘视频

这一步其实和第五步一模一样。回到web ui中点击configuration 的 stage 7这里其实不需要操作什么如果你想修改输出格式那就点击export type 但是一般来说没有人会修改直接默认MP4就可以了

点击右侧的stage 7 点击下方的执行大概等待几十秒左右你的工程文件夹会生成两个视频文件

后缀不是_with_snd 的是不包含音频的。

到此基本上已经完成了所有转绘制内容。

二、美女转绘

相信大家最近都看过很多美女号的视频，大家可以看一下几个头部的博主流量大得吓人

上面这些视频流量高的吓人，都是几十万几百万的播放量，为啥会这样呢？很简单的一点大家都喜欢美女。说白了就是LSP太多了。绝大多数人都表示第一眼都看不出来他是不是真人，那么具体他是怎么做到的呢。本期我们就针对这部分进行教学。（我们就将原理不卖参数，参数的设置都是自己调的。重点是怎么应用工具）

素材的选取

素材的选取这个是一个核心的地方关系到你后面转绘视频的质量，这里告诉大家一个简单易懂的诀窍

🌰

动作少，摆弄身姿，整体运动幅度低的

你结合刚才上面的爆款视频你可以发现都是肢体动作很少的，基本上看不到什么肢体动作

为什么呢？这里给大家讲一下EBS的原理和为什么

首先EBS是采用前后帧插帧进行运算，推算前后帧的画面。所以如果前后帧运动幅度越小理论上画面越稳定抖动越小。
其次是为什么选择肢体运动较小的动作，因为肢体运动幅度较大了很有可能你截取的关键帧手是糊的胳膊也是糊，所以这个地方要尤其的注意。即使我们有后期工具可以修复但是从源头上避免肯定会好很多。

图片。图片

上面这两条总结一下就是我开头说的。

那么会有人问了：你这样不就是换个头么？如何规避平台的审核呢？

答案很简单呀：混剪，你把做好的1-2个素材进行拼接。就可以完美规避这个问题

具体操作逻辑和细节

如果你看了我们直接的转绘教程那么对于美女转绘制的教程，其实就在于参数的把控。这里我主要把它分为三点

2.1 提示词相关

这里因为我们做的是美女相关的，所以我直接推荐你使用麦🍊的写实模型和墨幽人造人这两个模型

具体下载地址如下：

这里提示词不推荐使用质量词因为本来这两个模型里面的出图质量就很高了，而且本身就是写实的模型所以加了反而会影响整体的画面。这里我们要记住我们的核心是美女。我们只需要保证她的脸好看就行了。所以提示词我推荐你先使用反推，Deepbooru 。然后借助提示词插件删除一些没有用的提示词尽量只保留和画面主体相关的提示词就可以了。

主要受人物主体描述+皮肤质感增强+整体细节增强的Loar就可以了

https://www.liblib.art/modelinfo/73f99b12a74b4519bec1ccbaca78f0a8（皮肤质感）

提示词可以参考我这个，具体还是要看你个人实践。

正向提示词：1girl,solo,black_hair,midriff,autolinklora:林鹤-皮肤质感调整器-差异炼丹功能性lora模型_林鹤v1:0.6autolink,

负向提示词：NSFW,logo,text,blurry,low quality,bad anatomy,

说一下为啥要使用皮肤类型的Lora，因为很多的小姐姐就是你原本的素材磨皮太严重了。。就像旁边这张图一样皮肤都没什么质感了。

2.2 插件ADetailer

这个插件相信大家都用过，一般我们都觉得她是一个修复脸的插件，其实这个插件换脸也是很好用的。

首先我们要明白这个插件的原理是什么，很简单就是识别面部对面部进行扩散这么说大家就明白了吧，它里面也是可以增加controlnet去控制的所以说这就是为什么导致重绘后的脸和原视频还是有点相似的原因。话不多说直接上教程

打开我们的Adetailer，这里我们选择模型是关于脸部修复的。选择最常用的模型，在对应的正向提示词中添加一些面部的修饰词，当然这里也可以加lora的。找一个好看的脸部lora加进去。这里随便找了一个具体你想要其他的lora你可以在lib上面搜索对应的脸部模型

在检测这一栏基本上维持默认不变就行了如果你觉得效果不好适当的拉高一下阈值。

在蒙版处理维持默认不变就可以了。

再到下面的重绘选项卡中我们可以做的操作就很多了

这里就是对脸部重绘制参数的调整和应用，说一下我们需要关注的参数。

重绘使用的模型和重绘使用的VAE以及重绘制使用的采样方式。大模型决定你想要让脸重绘成什么风格的。2次元还是2.5D，还是写实类似于换脸。
再来说一下局部重绘制强度，因为我们在最外面的cn对图像进行了控制所以这里就是拉的越大对面部的修改就会越多。我推荐0.5左右就可以了，当然这个你可以自己进行尝试。
这里再说一下这里面这个controlnet，其实和我们外面用的是一样的也是增加控制的。选择你觉得最适合的，如果你用的tile模型要适当调整权重或者调整引导于结束的步数