墨导：「海岱青州」晚会项目中AI运用的记录

🎂

总结：Shoppen墨导

前阵子受张健导演所托，参与到「海岱青州」晚会项目，把AI技术融合到舞台展现里去。之所以会考虑到AIGC，主要是两方面的考量：一来在这种史诗叙事中，为了追求宏大的视觉呈现，AIGC可以实现更多非常规视角的视觉创作；二来时间紧任务重，完全通过传统手段来制作全套视觉的建模渲染压力太大。两周左右时间，从开局一个本，到央视直播演出，完整地参与了整个晚会的制作过程，确实是一个非常好的契机来全面测试AIGC在真正的严肃内容制作中的价值。

AI的实际contribution

原本在项目早期沟通中是希望通过AI来生成整台剧背后的大屏视觉内容，但在项目实际落地过程中AIGC事实上起到了一些外溢的价值。

舞台大屏

一开始追求100%纯AI生成大屏内容，但在实际操作中发现一个非常核心的需求误判，导致事实上还是需要结合传统后期工具来实现舞台效果。

🎂

💡 不同于短视频和动态壁纸，舞台大屏是舞台美术的一部分，并不是独立叙事，需要精确地配合舞美、灯光、音乐、场景调度等。大屏内容的本质应该是舞美的一部分。

此外，在实际操作中遇到的问题包括不限于：

缺乏专业语境共识导致对导演艺术需求的理解偏差。生成内容的核心难点并不在「实现」，而是在于探索出「要实现什么」。找到导演口中的「那个感觉」。AI设计师的核心能力在「转译」，导演的需求到分镜表是一层转译，分镜表到prompt又是一层转译，前者是AI设计师对导演想法的猜解，后者是大模型对AI设计师的猜解。
对于重要细节的严谨还原能力非常弱，生成感觉对味细节丰富的图片很容易，但哪怕是「生成和实际文物/地图一致的图像」（九州地图/状元卷/宜子孙玉璧）都万分吃力，更不用说「在汉朝宫殿的梁架结构不应该出现明清时期的样式」这种细节。而不管是垫图、—sref参数还是局部重绘，都无法实现可用的精确性。
ai视频动态能力的极限远没有达到舞台冲击力的要求。无论是运动幅度、画面稳定性还是镜头语言的丰富度，都难以承担「转场」「配合音乐节奏」之类的诉求。

因此，真实实现中后期团队或者后期技术的介入几乎是必然。AIGC可以作为后期的前期，由AI来执行发散性的素材生成，人工后期来执行收束性的调整。实际大概有这么几类用法：

快速直出。 AIGC的速度极端快，在需求仅仅是某种感觉的情况下可以快速低成本进行设计探索。以往需要半天才能生成的设计稿，半分钟就能出四张。在临时追加场景完全来不及做的情况下，在演出前一天晚上通过半小时的测试，生成了近百张图片，迅速确定了最终李清照剧情的追加背景；

利用AI生成供后期加工的素材。尤其是一些比较难通过传统手段获得的需求，比如「千里江山图风格的李清照家院子门口的池塘那种意境」，这种就非常适合通过—sref 参数来做，并且在事后根据演员站位来进行局部重绘也非常方便。后期只要通过传统手段将素材进行组合即可。

通过AI迅速探索风格和构图。基于博物馆采风实拍的卜骨，通过Midjourney进行各种构图的发散性测试，最终确定在开幕第一场的大禹治水中采用卜骨和大量甲骨文纹样的画面来作为震撼开场。

AI生图+传统后期手段。基于太和殿照片通过Midjourney生成超广视角的近似宫殿，而后通过PS+达芬奇对天空部分进行云层动效的叠加，弥补runway视频只有4秒以及无法循环播放的先天缺陷。

1.2 舞美

在设计舞美方案的阶段，通过Midjourney的适当Prompt生成一些舞台效果图，可以模拟灯光、布景的效果，在整体效果出来前便可以有更加视觉化的想象。在具体感觉尚未确定的沟通阶段，或者进一步的视觉方向探索上可以提高效率和扩展想象力的边界。

1.3 演出服装妆造

在剧本中有一个贯穿整个青州历史的本地神兽的重要角色——「峱」，一个羊头鹿角牛尾的山海经风格异兽。在当地服化道水平相当有限的情况下，服装部门并不具备根据古文文本设计演员形象的能力。利用Midjourney，根据现有IP图像、手办材质的垫图，结合关键特征的描述，生成了最终演出服的设定图。最终演出效果来看，在灯光舞美尤其是京剧团小演员的加持下整体的还原度还是非常不错的。

1.4 广告视觉

在演出当天临时聊到当地品牌的宣传，也临时通过Midjourney快速生成了适合当天演出风格的广告素材。

关于AIGC在影视实际落地的一些思考

AIGC工作流

在出发进组之前，拿到剧本的我首先理了一个非常清晰的工作流，并且基于对剧本的理解出了详细的分镜表，评估了一下工作量和技术实现在非常可控的范围内。

然而事实上根本不是也不可能按照这样的理想流程落地操作。核心有几个原因：

开局只有一个剧本，实际的视觉风格、场景调度都没有确定，更不用说确定的分镜表；
核心创作人员并非一步到位，导演、舞美、编剧等分批进入并随时会对整体场景进行调整；
艺术家们有非常多天马行空的想法，有大量实现难度超出现有AIGC技术边界。

真就开局一个本，落地细节全靠现场创意。

真实的工作流是：

线下采风——导演和舞美确认各幕舞台效果——每幕主视觉风格探索（到这里为止前面的分镜表就已经全部作废了）——边做画面边做动画——舞台效果和场景调度随着现场排练随时调整——已经做完动画的舞台效果调整——临时增加场景——画面bug的临时发现和修复

所以想象中的工作流只存在于没有甲方的单人项目，可以根据脚本一步步来做。而在多人协作，尤其是和传统专业团队协作的过程中，AIGC并不是一个独立封闭完成交付的工作模块，更合理的位置是处在整个设计实现的偏前部分，结合了沟通、探索、提供最终后期用素材几个环节。为导演确认感觉，为后期提供素材。

AIGC未来的可能位置

一人影视公司是否可行？

目前来看还不行。AI工具扩展了人能力的边界，目前理论上来说剧本（Chat GPT）、分镜（Chat GPT）、画面生成（Midjourney）、视频生成（Runway）、语音生成（GPT-SoVIT S）、音乐生成（Suno），各个环节都有工具，但并不意味着组合成一个有戏剧张力的内容是一件容易的事。

一部能打动人心让人有耐心看下去的作品，核心是组织调度起各个元素的那个人脑子里的东西，包括立意和常年训练出来的细节技巧，以及对不同元素的创造性结合。这些经验并不是一个门外汉借助一系列的AI工具可以迅速覆盖的。

即便假设今天有这么一个具备专业素质的职业影视人，希望借助AI工具来作为他的团队，组织起一个作品，目前来看有几个困难：

AI工具缺乏精确性。发散性生成容易，但针对局部进行精确性的修改仍然很难，缺乏可控性强的定向修改能力；
各个部分之间的协同缺乏确定性的接口。音乐难以和画面配合，台词难以和音乐、画面共同冲向高潮，难以组织起剧情的起伏。

核心来看AI工具最大的局限性其实是在协作过程中必要的精确性上。就好比一个剧组，有各个部门协作，但他们却没有人懂行业的黑话，每个部门都自由发挥。也许各部分都有惊喜，但结合起来就只是一片混沌。

不过如果不追求100%纯AI，具备一定影视素养和后期能力的超级个体，也许可以用比较小的核心团队去完成原本需要更大规模团队才能实现的项目。

优化传统媒体行业效率呢？

这里的空间就非常大了。

在一个具备一定行业垂直知识和AI工具素养的人手里，不管是快速提案（沟通）、风格探索，还是为进一步的精确后期准备前期素材，AI工具都可以极大的在「量」和「速度」这两个方向上在各个环节上提升效率。或者说，在整个工作流上，AI负责「高速大量发散」，而具备专业素养的人负责「收束」，可以提升工作流上节点之间的效率。

不追求100%的AIGC，是现阶段AIGC最务实的用法。取代其中的某些环节，自己成为其中不可被取代的环节。