吉川老师：2024全球AI电影马拉松大赛最佳美术奖《新哪吒闹海》全案拆解
做的太好了，先看片
本次大赛共有七百多部短片参赛，其中在B站上有80部作品入围，这其中有很多传统制作+AI的优秀作品，包括不限于手绘/3D/实拍转绘等等。而《新哪吒闹海》用的是纯AI制作，今天我们就来为大家拆解一下这部短片的制作工作流。
制作人 吉川明静
导演 编剧 剪辑 K'K
技术总监 Samuel
角色 场景 有想象力的汤包
美术指导 SoEasy
音乐 悟空(久升音艺) - Ready I Think Not
外联 Zeta 四叶
配音 依若熏 张家辉 俊凌
图片生成 Midjourney StableDiffusion
视频生成 Pixverse & Dreamina
后期剪辑 剪映
简明工作流
一. 人物设计
关于人物一致性
本次项目中，我们在人物设计方面的目标是“ 尽可能达成人物一致性 ”。
动画片中角色一致性（辨识度）：
1）整个头部占了辨识度的70%，主要包括头发（发型与发色）、眼睛颜色、特异特征、头部饰品等。
2）服装辨识度主要包括服装色调和大致款式，细节无需过度追求也无法过度追求。
3）头身比例，影响年龄感，但目前的AI技术很难精准一致。
在项目开始的5月初时，从零开始创作一个角色并达成一致性的AI手段有Midjourney中的--cref，以及SD炼制人物LoRA。
在项目初期，我们对关键角色（哪吒）进行了大量人设创作，以便从中挑选合适的风格和寻找灵感，同时也测试了--cref对于形象一致性的状况，发现在 不同场景，不同人物景别，不同动作下 ，实际效果包括人物面部以及服装，都并不算理想。
所以选择角色lora的方式来达成角色一致性的目标。
最终选择的基础人设和风格为下图。
（但是这个侧身位和姿势并不适合作为标准设定稿，请按正常正面姿势出图）
通过MJ生成人物素材
对于已经生成的人物设定稿，我们可以利用Midjourney中的Pan以及Zoom来进行扩图，通过关键词Character Sheet,side view/back view 等，来获得角色的三视素材和一些不同pose，以及表情的素材。
*Midjourney 6.12更新后，已经可以直接在Web端进行Pan和Zoom并添加提示词的操作（Reframe）
同样的，对于三公主也进行如此操作以获得素材
*备注：正式炼丹前需要对素材进行二次处理，包括裁切以及细节处理 。
另外几位角色，由于镜头基本只有2个左右，所以直接采用--cref的方式，在同样景别下，尽可能选择角色一致性较高的图（多roll）
同一个镜头也可以不同景别来复用。
角色模型训练
Lora训练之前需要对数据集做出一些前置处理，包括：裁切、修补、打标和再补充等。训练器使用的是秋葉老师的整合包。
角色重绘
得益于对AI大模型微调 finetuning 技术的研究，有别于整体dreambooth训练， 我们逐步摸索出一套简洁高效的训练特定画风lora和特定角色lora的方法 ， 这对于角色一致性的锁定有着决定性的帮助。 举例来说，从哪吒的短褂+小短裤，到额前的火焰印记，到流苏耳饰等 细微之处的统一， 完善了角色的一致性 。
最终， 针对不同主要角色分别训练角色lora，使得多人同框镜头的一致性获得了保障 。
图生3D辅助姿势
另外一边，利用lora和重绘工作流进行作业时，角色的年龄、身形比例，还有服装配饰仍然受mj底图较大的影响，衣服方面的一致性仅靠lora和提示词抽卡重绘，成功率不是很稳定。
以下是具体步骤：
1）首先，在哪吒的角色lora训练集里选一两张合适的形象图片，用ps把哪吒 肢解 处理一下，然后得到各部位的图片。
2）在Tripo中逐个上传图片转换成3D模型（逐个分部转换是因为全身图单次转换3d目前的效果太差）。
3）利用3d软件将模型整合，绑定骨架。
4）最后在对照MJ出的分镜图凹好造型，再重绘。
重绘流程跑通后，MJ出的分镜图对于角色而言只要景别和动作到位即可。（可以使用--cref --cw0 来保证基础面部）
二. 场景设计
基础场景的风格一致性
场景的设计相对人物设计来说要轻松一些。
1）首先我们可以在提示词层面来保持一定的画风一致性，包括基础画风（3d rendering, cgi, z brush 等）和场景中的一些色调，将他们写入提示词，能有效提升一致性。
2）其次，在一些连续场景中，可以直接通过--sref来可以取得不错的一致性效果。
--sref不单单可以sref场景，例如我们有一张人物的原画先制作出来，如果需要有配适的空镜来衔接，也可以拿人物的原画来进行--sref。
*使用--sref时可以将--sw值降低（15-30）来减少参考图对提示词的影响
3）除此以外，一些相似的场景也可以直接通过vary来获得。
提前考虑场景动态
场景设计时，可以尝试同步进行动态生成，因为
1）会出现原画不错但是动态跑不好的情况，这个需要及时判断，并及时调整原画（因为图片是图生视频的重要'提示词'）；
2）连续镜头的一些原画在静态会有一定的画风差异，但是在生成动态+调色后，连续几秒内的一致性还是可以接受的。
所以场景不必在原画阶段死磕，提前考虑动态的生成效果。
三. 动态制作
工具使用
动态制作主要采用 Pixverse 和 Dreamina（即梦） 进行制作。
Pixverse的动态比较适合空镜和慢速镜头，Dreamina则能够roll出一些更为复杂的动态；两者结合需求使用。
镜头案例
哪吒睁眼的镜头
人物睁眼的特写镜头一般有两种方法来做。
1） 是用一张睁眼的原画，做出闭眼的动态，然后在剪辑时倒放，即可做出睁眼动态 。为何不直接用闭眼的原画来做睁眼动态的原因，是因为ai无法知道睁开的眼睛是什么样的，roll的效率偏低。 彩蛋思考题：为啥做了睁眼，然后倒放？
2）则是利用首尾帧技术（即梦可以实现），首帧放闭眼的原画，尾帧放睁眼的原画。
短片中运用的是第二种，睁眼闭眼的画面通过局部重绘即可。
最后在剪辑时用曲线调速，卡点睁眼。
*这张是原画
*这一步重绘了额头印记，和耳边饰品
*这一步重绘了闭眼
腐化龙灵的镜头
腐化龙灵的两个镜头其实都出自同一张原画的不同动态，在剪辑时做了调整。
核心技巧： 基于图形 引导的 生成式视频 。
三头六臂化身镜头
这个镜头费了不少力气，因为哪吒三头六臂是一个我们最开始就想要制作并放在高潮的一个镜头。
原画制作参考了传统哪吒的三头六臂形象，通过原画 - 重绘做出想要的基础形象后，最终还是通过传统手艺PS处理完成的三头六臂。
“传统手艺”处理前
“传统手艺”处理后
处理完原画之后，由于人物结构的关系，roll视频也花了很多时间，期间有非常多的废片。
emmmmmmmmmm…………………………
能**满意嘛？？？
最后好不容易有了一个相对稳定且动态满足需求的镜头。
然后用这3秒的动态来做出5-6秒的镜头。
通过剪辑，我们把不同景别的动态单独做出镜头，身体2秒，头部特写2秒，全身2秒，达成视频中的最终效果。
莲花聚爆镜头
莲花聚爆的镜头主要拿来给同学们说明一下 剪映中一些特效，转场和关键帧的组合使用可以有不错的效果 （主要是操作简单无脑，适合懒人）。
原画和动态是这两个：
原图如下
动画如下
原图如下
动画如下
剪映工作界面
最终样式如下
四. 配音&音效
配音一开始打算用AI，但测试多种不同的工具后，觉得 AI语音在影视作品台词的表达上情绪依旧不够丰满，因此最后邀请了专业声音表演者来配音 。
音效方面，由于这次的音效需求比较简单，所以直接采用了剪映中的音效资源库 。随着AI技术的不断发展，相信之后会有AI生成音效的工具来供我们选择。
资源彩蛋
附上三个音效资源站作为分享（无广）：
https://www.lookae.com/sucai/sfx/
有大部分免费且分好类的音效包可供下载
https://www.epidemicsound.com/
专业的音效站点，Gen48合作站
https://sc.chinaz.com/yinxiao/
适合搜索单个音效下载的站点
点击阅读原文：欢迎前往 XHS 浏览社群成员优秀作品
one more thing：我不是天才，我只是有幸和众多天才一起工作 from 牛马：飞扬