Joey: 上影全球AI电影马拉松/最佳叙事奖—种子创作思路分享
🏆全球AI电影马拉松大赛—最佳叙事奖🥇
首先啥话别说了了先感谢一下小伙伴
简介：在2019年的一天，何夕，一位被遗忘的科学家，在精神病院中度过他的晚年。曾经，他为了一个超前时代的科学理论牺牲了一切——名誉、爱情、友情，甚至是理智。现在，他只是一个被世界遗忘的老人，一个疯子的形象。但就在他生命的最后时刻，一段非凡的旅程即将展开。...
编剧/导演：Joey
制片：大狐
图片/视频制作：大狐、瑾兮、王贝、点哥、咯咯哒、苏小蕊、啊朔、忠良、陈小牛、U
技术支持：阿强、点哥、啊朔
配音：何夕—梁古、未来人—番茄、老麦—王旺、护士—瑾兮、江雪&记者—U
音频：U
剪辑：周易
工具：Pixverse、Midjourney、Stable Diffusion、Runway、Dreamina、Pika
短片B站地址：
一、灵感的火花与融合
本次大赛的要求，是以何夕的小说为原型进行改编。
我选的小说《伤心者》的结尾，在疯人院的何夕数十年未说过话，但在临终前却喊出了“妈妈”。
我的灵感来源于两个方向，一是《神秘博士》中梵高的那一集，博士将梵高带到现代，让他看到自己做出了多伟大的成就；二是一个游戏：《To the Moon》，讲述了两个科学家在一个老人的梦境中帮助他完成心愿的故事
我的想法是，能不能以一场梦的形式，补完结尾的这段留白，让男主去世前做一场完美的梦。
当我有了故事的大概想法后，我就使用GPT继续完成整个的故事框架，并出分镜画面。
二、让想象来到现实
有了故事主线和分镜，，接下来制定分镜也相对容易。我习惯直接将故事以分镜的形式写出来。分镜的画面主要按我的感觉来写，所以分镜的制作相对较快。
定画面风格和人物是整个创作中相对难的一个环节，我自己知道我想要什么，但是对于共创团队来说，我得有一个参照物来和大家达成共识。这里非常感谢我的小伙伴们，帮我找参考艺术家，帮我一起制定了整个片子的内容核心。
定下了风格和人物，接下来就是常规的AI出图。
三、动画与代码共舞
图片转视频主要用到了其实整个视频还是比较顺利的。主要用到runway的笔刷，即梦的前后帧，Pixverse、pika等，画面都不难出，难出的就再抽他个一百次就行。
主要说三个本次用到的转场画面。
1.360人物环绕
在主角的梦境破碎，从年轻变老的这一段，我尝试了很多方式去表达，最后决定人物环绕拍摄的方式去做。而技术的思路是先用MJ做一组不同角度的人物站立图，然后通过comfyui的首尾帧进行视频制作。（感谢竹知大佬整理的工作流）
2.母亲的影子
我当时的想法是这组图既能在播放时看到母亲的轮廓，又能在暂停时自己成为一张完整的图片。我参考节气图的思路，在SDXL工作流中加入了两个controlnet，先在base里控制构图，再在refiner里再控制母亲在画面中的强度。
3.上帝之手
这个其实最简单，我们先出了一张伸手的图，然后用runway跑相互接近，然后转视频序列帧后在comfyui里用controlnet控制构图，按顺序自动出图跑一晚上，最后再剪辑序列帧就好了。
四、阿克琉斯之踵
在成片剪辑的过程中，我发现目前AI生图—转视频中的两个比较大的问题。
1.人物的多组镜头衔接
我这次希望尝试人物与人物之间进行连贯对话，但目前只能靠多组镜头拼接来实现，而拼接的画面并非完全一致，稍有差别就会显得出戏。
一个解决思路：电影镜头里有一个30度角定律，意思是拍摄同一场景的两个镜头，超过30度角才能让观众看出区别。我反向用了这个定律，用30度角以内的镜头拼接，来加强镜头场景的联系。
2.动图PPT产生的枯燥感
Luma出来之前无解，Luma出来之后也可能无解。AI生图的连续镜头必须要靠强有力的演出和音乐音效来抵消PPT产生的不和谐感。这里感谢我们优秀的音频导演和演出老师，利用音乐和出色的演出抵消了PPT的感觉。就我目前的感受来看，就艺术表达上，AI生成的声音和真人还是毫无可比性。
五、遗憾的艺术
有人说自从有了AI，电影将不再是遗憾的艺术。
而我认为，遗憾可能不仅限于AI。
遗憾是，如果Luma早点出来，或许视频的效果会更流畅。
遗憾是，如果我在多学点comfyui，或许转场效果能做得更好。
遗憾是，如果我在剧本上多学一些思考，或许能讲述一个更加完美的故事。
又或许，艺术从来就是带着遗憾的，但这种遗憾反而激励我们不断追求更完美的作品。
