尾鳍Vicky：AI动画短片制作全流程--《月夜行》森林篇
最近我用AI工具尝试做了一个动画短片，虽然还有很多问题，比如大多都是特写或近景镜头，关系镜头很少，角色无法生成流畅的动作幅度等等。但作为一个不会画画、不会使用技术软件的废柴，能通过AI做动画，还是觉得惊喜又开心的，而且我觉得这些问题，肯定会很快在不久的将来被解决。
本来我只是单纯地想分享一下故事本身的内容，但有不少好朋友看了之后，也想尝试自己动手，特别是还有朋友想亲手给老婆做十周年生日惊喜的AI短片，擅长磕CP的我，横竖得把制作流程写了，让他们的爱情长长久久、甜甜蜜蜜。
以下是我尝试做的片子，可以先康一康。
第一步，写故事+分镜头
因为是一分钟的短片，故事内容特别短，也比较简单，我就自己一拍脑门瞎想了一个。也可以借助GPT4、Claude2、智谱清言、Kimi.chat等等应用进行对话，让它们帮你想故事。我的Prompt都很简单，核心的逻辑在，你得把你的需求写清楚。
一、 故事梗概写作：
模版如下：
时长/字数：1min/100-300字等
主题：爱情/亲情/友情
人物：性格+年龄+职业+特征（外貌的或衣物或道具等等）（还可以增加一切能丰富你人物的东西）
人物关系：亲人/朋友/恋人未满/夫妻/兄弟/姐妹（人物关系的构建是形成叙事非常关键的一环）
结构：开端、发展、高潮、结局（最简单的故事结构）
如果套用我的故事，那么我给出的Prompt大概会是这样：
请你为我写一个200-300字的故事梗概，我的故事主题是友情，角色是一只白猫和一只灰狼，人物关系是灰狼作为朋友救下白猫，请你按照开端发展高潮结局的故事结构进行写作。并格外再给我一句话故事，用一句话将这个故事讲清楚。
后续就持续对话调整即可。
以下是我最开始写的故事内容，可以作为参考。
开端：暴风来袭，白猫狼狈，饥肠辘辘，无处可去，被灰狼盯上。
发展：白猫逃跑，灰狼一路猛追，从草坪，到巨石，白猫进一堆船里，躲了起来。
转折：灰狼跟着过来了，它找不到白猫，白猫躲在船舱，差点就躲过灰狼的追踪，却没想到船舱松动，甲板突然掉了下来。白猫以为甲板会砸到自己，没想到灰狼替自己挡了一下。
结局：两人在船舱里躲雨，灰狼把鱼给白猫。雨过天晴，白猫和灰狼出来，走到海边，一片宁静，不知什么时候，海边竟然放起了烟花。
后续因为实现难度的问题，简化了很多东西。
二、分镜头写作：
假如我已经有了一个简单的故事梗概，那么1分钟的视频大概需要25-30个镜头，我们需要写出30个镜头的分镜头脚本，并将其翻译成英文，放到Dalle3或者Midjourney中去进行文生图的工作。
文生图的逻辑是要写清楚画面内容。
模版如下：
景别：远景/全景/中景/近景/特写
风格：真实影像风格/日本动漫风格/水墨画风格等（在Dalle3里无法直接写作者的名字，比如新海诚，但Midjourney是可以的。）
角色：具体到是什么样的角色，有什么特殊的颜色、道具、服饰等等。
环境：森林、家、海边等等
比例：16:9/2.35:1等等
如果套用我的故事，那么我给出的Prompt大概会是这样（动画可调niji模式）：
Close-up macro shot, A white flower blooms, the sun shines on the white flower, in the forest，Makoto Shinkai style, Japanese anime style --ar 235:100
以下是我最开始写的分镜内容（超级简化版本），可以作为参考。
1，主观，海边电闪雷鸣
2，特写，树干被折断，或者衣服被吹走
3，特写，白猫躲在草里满眼无奈
4，中景，侧拍，白猫饥肠辘辘，无处可去，听到肚子叫的声音
5，中景，正拍，白猫回头，角落里有双红色眼睛
6，特写，红色眼睛，是一匹恶狠狠的灰狼
7，中景，运动，白猫一路奔跑
8，特写，运动，灰狼的脚也奔跑
9，中景，背拍，白猫在草坪上跑
10，近景，正拍，运动，白猫害怕的表情
11，主观，向前跑，两边都是草
12，全景，灰狼追着白猫跑
13，中景，白猫跑进巨石里
14，主观，巨石堆有洞口出口
15，俯拍，灰狼紧跟在白猫后面跑
16，中景，灰狼背影紧追着白猫
17，近景，白猫气喘吁吁
18，中景，白猫跑进一堆船中
19，中景，灰狼找不到猫
20，近景，白猫躲在船舱甲板下
21，中景，前景白猫，它看到后景灰狼在四处寻找
22，近景，灰狼有些懊恼
23，特写，船舱里木板有些松动
23，中景，前景白猫，看到灰狼作罢准备离开
24，近景，白猫窃喜
25，特写，木板掉落
26，特写，白猫大惊失色
27，全景，灰狼挡在白猫面前，木板砸中灰狼
28，特写，灰狼把鱼递给白猫
29，全景，雨过天晴
30，中景，侧拍，灰狼看着白猫吃鱼
31，特写，灰狼手上有绷带
32，全景，白猫和灰狼在海边看烟花
后续生图的时候，我是按照文生图的模版，把内容写得更具体作为Prompt去生图，但又因实现难度的问题，后面做了很多简化工作，大部分前期写的分镜，后期都被我改了……
Midjourney有个使用小tips是可以局部重绘，但它的重绘更像消除功能，比如我生成一只白猫，它的脖子上有项链，我不想要项链出现，就可以用局部重绘的功能将其消除。
局部重绘完之后，还可以使用Upscale功能，得到更高清的画面，如果还想有更高清、细节更丰富的画面，还可以用MagnifiicAI进一步提升画面内容，但有点贵，一个月要39刀，不过它确实值这个价。
第二步，文生视频+图生视频
我会做这个视频的很大一部分原因是因为Pika官方给了内测名额，可以无限roll（现在已公测收费啦），Pika在做动画的时候，效果很好，于是有了这个动画短片。
如何使用Pika网上有无数教程，大家可以自行搜索，难的是roll自己想要的镜头。很多跟环境有关的特写镜头，比如海浪、烟花之类的，我都是用的Pika自带的文生视频功能，Prompt：海浪，特写，黄昏，新海诚风格（也可用英文）。Pika文生视频的Prompt越简单越好，用短词说清楚需求即可，运动幅度控制在3即可。如果图生视频，我的运动幅度一般设置就不会超过1了，与文字的一致性我一般设置为最小5或者7。
我遇到的难题有以下四个方面：
1、动作幅度/角色运动
单个角色的动作运动，几乎很难稳定行动。比如中景镜头，交代角色运动状态和趋势，目前比较难可控生成。
2、关系镜头的生成
交代人物关系的镜头较难生成，多角色动作不好控制，需要不断尝试给出更明确的指令内容。
3、蒙太奇的运用/角色表演
短片中很多信息的交代只能用蒙太奇的方式进行链接，用1+1>2的思维模式，来生成镜头。角色表演不稳定。
4、长镜头的缺乏
生成视频的运动更多存在于二维平面的运动，要生成三维具有空间感，能完成不同景别场面调度和多角色运动还存在困难。
目前还没有很好的办法解决，我的办法就是只能用短镜头+蒙太奇的方式来切换，涉及到太复杂的画面，用取巧的方式，比如用音效、空镜或其他反应来带。但还是会遇到无法用画面讲清楚故事的问题，所以涉及到关系镜头，有两个以上物体的画面，我用的是GPT4的Dalle3，Dalle3的审美差一些，但语义理解会强一些。因为没有关系镜头，实在交代不清楚人物关系——即狼替猫挡的那一下。于是乎，在生成了一堆废片之后，终于生出了一张还说得过去的图片。
（一堆废片）
（最终分镜）
那么问题又来了，如何进行局部运动，怎么让这块木头掉下来呢？
Pika目前还没有局部方向运动笔刷，我只能去试Runway Gen-2,Runway可以控制局部物体运动，但又有问题来了，Runway的动画效果比较一般，做出来，白猫的脸变形了……我……
还好Pika有视频重绘的功能，我又把Runway生成的镜头放到Pika里再跑一遍， 背着脸总比变形强点， 大概齐地完成了该镜头……Roll不动了确实有点……
所以这个关系镜头是用Dalle3+Runway+Pika结合完成的，这个工作流确实略麻烦……但咱还是相信，未来的趋势，一定是极简的工作流+工具的强整合……
第三步，剪辑+高清化
最后一步主要还是人工剪辑，音效和配乐用的不是AI。但其实AI声音在某方面（比如配音）已经相对成熟了，有时间会再尝试做一些有人物对白的实验短片。高清化我主要用的是Topaz Video AI，这个需要本地电脑跑，我的老Mac有点跑不动，跑1分钟可能需要4-5h甚至更久，可以酌情求助一下周围电脑配置好的朋友。
以上就是整个制作流程的分享啦，希望你喜欢！