阿强：功夫熊猫版-如来神掌的完整复盘

🦄

作者：阿强

内容大纲：剧本部分 - 生图部分 - 视频部分 - 剪辑部分

推荐看点：

成品展示

图片制作数量1015张 -> 图生成视频数量528个 -> 采用了95段视频 ->生成时长约2min（前15秒是截取的官方预告片）

整体制作周期大概10 天，利用晚上下班后的时间做。

一、剧本部分

1、缘起

个人非常喜欢周星驰的电影《功夫》，功夫熊猫里的阿宝不会“如来神掌”一直让我耿耿于怀，但碍于不会做动画。直到 AI 生成视频的出现，我的执念又蠢蠢欲动。

去年 11 月得知功夫熊猫 4 即将上映，我就开始筹划着做个阿宝版的如来神掌。

先逐帧导出功夫的画面进行分析，使用 MJ 进行阿宝版1:1 复刻，却死活跑不出来出掌的镜头。甚至一度想使用 SD 训练 lora 再用 controlnet 控制骨骼的方式来实现（然后就搁置了...）

直到 MJ V6.0 的出现，我终于跑出几张像样的图了

恰逢离谱村举行第二集共创，通过这次活动跟着大佬们学习了好多，也终于把功夫熊猫版如来神掌肝完了，再次感谢离谱村。

2、电影梗概

剧本定位：我给它的定位是动作片，有关如来神掌打倒坏人的动作片（其实是因为自己编剧能力太菜）

熊猫阿宝获得了一张通往传说中的离谱村的地图。在长途跋涉后，阿宝终于来到了这个神奇的离谱村。在那里，阿宝遇到了独特而友好的村民。
然而，可怕的变色龙反派（大蜥蜴怪）出现了，威胁着离谱村的和平。关键时刻，阿宝挺身而出，使出传说中的如来神掌击败了变色龙，离谱村恢复往日的和平。

3、分镜

大景，功夫熊猫阿宝在与魅影妖后一战后身受重伤，跋山涉水前往离谱村，远近景穿插的路途镜头，远景春夏秋冬..
中景，阿宝来到离谱村入口
广角，看到离谱村的种种离谱生物，其乐融融
近景，离谱村民（菠萝刺猬）发现阿宝
特写，阿宝看到离谱熊，两熊抱在一起，<台词可参考 kungfu panda 3，“在离谱这方面，我还是新人”-->"我就知道我在离谱这方面，潜力无限I knew I wasn't eating up to my potential"-->"我要学的东西多着呢 I have so much to learn">
特写，热情的离谱村民（每人村民与阿宝的互动）章鱼大厨递来一大盘包子...
旁白：然鹅，好景不长，反派变色龙入侵离谱村，
离谱村民快招架不住
阿宝使出传说中的如来神掌
离谱村恢复和平，离谱村举办庆祝晚会，村民载歌载舞远景（舞蹈+音乐）

二、生图部分

1、用到的工具

Midjourney、PS AI（创成式填充修复局部问题）

2、Midjourney 词力测试

目的：测词，看看 MJ 模型有没有把功夫熊猫训练进去，并测试其角色、风格的一致性情况。

prompt	效果评估
DreamWorks Animation, A Po Panda A PO's(DreamWorks Animation A Po Panda)	词力强，动作可控
DreamWorks Animation, Kung Fu Panda,	词力极强，但因为 kungfu 词多为武术动作
Kung Fu Panda,	词力强，但动作因为 kungfu 词多为武术动作
Po Panda,	1/4概率出阿宝，动作自然可控
Master Tigress, photography by DreamWorks Animation Kung Fu Panda, *** , DreamWorks Animation Kung Fu Panda characters,	画功夫熊猫里的其他角色效果很差，角色不像
photography by John Stevenson, panda,	无关
dynamic shot,	加动态摄影，方便 roll 视频
Panda A Po(DreamWorks Animation A Po Panda) , hands in a 'prayer' pose	出双手合十效果
A huge bear paw from Panda A Po(DreamWorks Animation A Po Panda) ,Blue sky background, --ar 16:9	如来神掌 prompt

我在写绘画 prompt的时候，一直遵循的理念是“若无必要，勿增实体”

比如使用（DreamWorks Animation, A Po Panda ）就能出来功夫熊猫的电影画面效果，那就不会再加电影感、4K...等等词。

提前测试“词力”：清楚知道每个词的影响，用迭代思维（MVP，再根据画面缺什么补什么）写 prompt ，对于后面提高生图效率真的蛮大的。

3、对于不太容易描绘出来的画面，借助 ChatGPT

先把需求告诉 GPT 并让其用 Dalle 出个参考图，然后借鉴 Dalle 的提示词再去 MJ 里面生图。

比如体现春夏秋冬演变：

或者画个花心

4、立体的分镜展示

为了让场景更加鲜活起来，建议多生成同个场景的不同角度，另一方面也是为了弥补目前 4s 视频动态效果的不足。

比如想表达初次相遇、面面相觑的场景，就可以参考以下动漫的画面呈现：

阿宝小心翼翼过铁索桥的场景，我把它拆分成以下画面：

三、视频部分

1、用到的AI视频工具

Runway, Pixverse, Haipe, Pika, SVD

2、用 RPA工具实现自动化 roll 视频

现阶段 AI 生成视频的崩坏率极高，可控性差，

所以 roll 视频也被大家形象的称为“抽卡”。

既然是概率问题，那么提升成功率的思路就是量大管饱，自动批量 roll 视频必须安排上。

功夫熊猫这个片，我在 roll 视频的时候，把需要跑视频的图片丢到一个文件夹里，然后用RPA 工具自动刷视频。

大概的效果如下：

2024.5.30重要说明：影刀工具目前已经停止个人社区版使用别人分享的应用了。而购买企业版非常的贵，我在网上搜了一圈找到个解决办法：咸鱼上买2块钱左右的25天的创业版

为了让大家解放双手，我把自动 roll 视频的应用开源出来，下面是具体的使用方法：

1、安装影刀

在影刀官网 (yingdao.com) 下载软件，安装并注册

2、获取我编写好的应用

复制以下链接到浏览器打开：https://api.winrobot360.com/redirect/robot/share?inviteKey=16d4073d4d1e9bd7

密码：lipu

3、在影刀里运行应用

回到影刀 - 在“我获取的应用”中可以查看刚获取到的应用，点击右边的运行应用。

4、填写对话框

程序会自动打开工具网站，填好后点“确定”就会开始运行。

5、RPA 自动跑视频

运行时会占用你的鼠标和屏幕，你可以做点其他事情。

6、如何查看进度

点击日志查看roll视频进度

小Tips：

1、强烈建议你先登录对应的AI视频网站后再运行该应用。

2、如果你之前没有登录过“Runway,Pixverse,Haipe,SVD...”这些网站，首次使用需要你先登录（有100秒的等待时间供你登录），请注意该应用不会获得你的账号、密码的任何有关信息，请放心使用。

3、程序默认使用Google浏览器运行，所以你还得自己搞个谷歌浏览器。

4、程序自动轮询完文件夹里的图片后会自动结束，但如果你想提前结束，可以按快捷键，Mac：command+option+E，Windows：ctrl+alt+E。

5、程序一定还存在很多bug，如果你在使用的过程中有碰到问题，欢迎在文档评论留言，看到后我会一一回复，或者加我微信 martin-57 向我反馈。

6、默认一张图跑一次（节约积分），如果要一张图roll多次，提供个土办法，把图片复制N张，哈哈哈哈。

3、各 AI 视频工具的最佳实践

（整理了大佬们的经验分享和个人少样本测试，不一定准确，如果实在拿捏不准就用上面的 RPA 工具 roll 起来）

点击工具的蓝字可跳转官网

Runway	Runway在真实影像方面质感是最好的，战争片全景的镜头处理得最好，以及Runway的控件确实目前体验感也比较好，但Runway就是特别爱变色，光影非常不稳定	控制能力最强，可指定局部对象设置运动笔刷
Pixverse	Pixverse在高清化方面是四家里比较优势的，以及对于一些偏风景和纪录的、有特定物体移动的画面会非常友好	能力全面，个人比较喜欢用的一款，缺点是同时只能进行 4 个任务
Haiper	默默无闻、且只能生成 2s，但这次却意外的有很多不错的镜头，稳定性很强	优点是没有并发任务限制，我用 RPA 优先刷 Haiper
Pika	Pika对于奇幻感比较强的画面把控是几家里最好的，会比较自然，但真实环境的画面比较容易糊，Pika还有嘴型同步功能	对二次元友好
SVD	SVD整体真的略拉垮……唯一能打的就是在风景片	优点是不带水印，动作幅度相比比较大，但崩坏的概率也是极大

引用

尾鳍Vicky：https://mp.weixin.qq.com/s/KFcC5MWwJMd-AjDXEAWNsw

4、视频有水印怎么办

白嫖虽好，有条件下也鼓励大家为好产品付费

使用剪映工具，按如下操作，创建一个黑屏贴纸，把水印遮住。缺点是会损失一部分视频画面。

导出后视频时再把黑边部分裁掉即可，一般1980*1080的画面，遮完水印之后差不多是 1980*920。

还有一些去视频水印的工具，欢迎大家补充

5、“发现美”来看视频片段

AI 视频挺难一步到位就抽到想要的效果的，所以我们需要一双“发现美”的眼睛

可以带着以下思路去审视每个视频片段：

对视频加速、慢放、倒放、镜像...后是不是就能用？
有没有一小段可以切出来用？
能不能通过转场等后期剪辑手法把两个废片变废为宝？

若是实在出不来某个效果，就改剧本，比如章鱼大厨递包子的动作出不来，最后被我改成了章鱼大厨眨眼+轻微移动（示意阿宝吃）。

四、剪辑部分

1、用到的工具：

剪映

2、剪辑工作流

第一步：先把所有生成的图片按照剧本排列在时间轴上，

这一步还蛮重要的，能够大致看出图片剧情是否完整，想要表达的内容清不清晰，然后针对性的补充画面。

第二步：填充视频
第三步：调变速和转场
第四步：配音配乐
第五步：细节优化

后面这几个部分是比较常规的操作，就不展开了，后续有发现独特技巧再来补充。

五、其他

如何管理好文件

截个图给大家看看我如何管理素材

推荐阅读小开：视频制作管理流程方法很棒，我学到并用上了。

最后一点体会，跟大家分享下

在整个制作的过程中，碰到各种问题，如图片出不来，视频效果出不了，与心里预期相差太大，中间一度想要放弃，但还是咬咬牙，想着做都做了，实在不行做个 30 分效果也行，硬逼着自己搞完。

最后看到成品的那一刻还是满满的成就感。

所以建议小伙伴们赶紧多动动手，不要怕做不好，毕竟现在还可以归为 AI 视频技术不成熟导致的，是吧！😄

阿强：功夫熊猫版-如来神掌 的完整复盘