TZJTan Zi Jian
← 博客

临时变更的产品植入:用 AI 与合成替换无人机镜头里的汽车

这是一个典型的独立电影场景。你终于锁定了一场戏的画面,所有镜头跟踪都很顺利,导演也很满意。然后制片人满脸笑容地走进后期室,因为他们刚刚临时谈成了一笔和 BYD 的产品植入(PPL)合作。问题在哪?我们在实景拍摄、一段流畅的 5 秒航拍无人机镜头里,拍到的那辆车是一台亮蓝色的 SUV。现在,它必须变成一辆白色的 BYD。

需要处理的 5 秒航拍无人机镜头。

我不想订一次昂贵的重拍,也不想花好几天走完整的 3D 资产跟踪流程,我想看看能不能用生成式 AI 的工作流来解决,同时让原始的全高清画面保持完全清晰。

下面讲讲整个过程、我遇到的障碍,以及我如何把 AI 和传统合成结合起来,让这个镜头成立。

避开“AI 幻觉”的陷阱

当你为品牌做指定车型的替换时,最大的难题是还原度。如果 AI 改变了车身轮廓,或者给它一个奇怪的通用外形,幻觉瞬间就破了。像 BYD 这样的新款电动车型,在常见的基础 AI 模型里出现得并不多,所以我最担心的是模型会凭空生成一辆完全不同的车。

我觉得最简单的路径是采用首帧 + 视频转视频的工作流。

首帧 + Seedance 2.0

我截取了无人机镜头的第一帧,从网上找了一张白色 BYD 汽车的参考照片,然后用 Nano Banana Pro 生成了一张干净、结构准确的首帧。

接着,我把这张生成图交给 Seedance 2.0 做视频转视频。车辆的还原度不错,连车轮的布局都完全对了。可是环境的连贯性彻底崩了。过了几帧,背景会突然错位跳动,这让素材完全没法用于连续的镜头运动。

Seedance 2.0 生成的结果。

改用 Kling

我用完全相同的首帧设置,改在 Kling 里跑了一遍。Kling 把镜头跟踪处理得非常好,空间连续性也与那段流畅、大幅度的无人机运动完全吻合。

缺点是输出的整体画质。原始素材里,无人机的速度带来了大量运动模糊,而模型在放大这些细节时处理得不干净,导致画面看起来相当浑浊。

Kling 生成的结果。

剔除 AI 噪点

到了这一步,你不会就此放弃,而是运用传统 VFX 的思路。如果 AI 生成的环境很乱,但汽车的跟踪非常准确,那就把车单独抠出来,把其余的 AI 噪点全部丢掉。

为了让原始的全高清无人机画面保持完全干净,我搭了一个快速的合成“桥梁”。我只把那辆白色 BYD 从浑浊的 Kling 渲染里抠像出来,并给遮罩边缘加上轻微的羽化,让它自然地过渡到沥青路面上。

然后,我把抠出来的 AI 车辆直接放在未经处理的全高清画面里、原来那辆蓝色 SUV 的上方。为了让它融入场景,我把这辆白车的黑位、高光和色温,都匹配到原始画面的环境光上。

把 Kling 3.0 生成的车辆合成到原始素材上之后的输出

最后的想法

成片在运动中看起来完全可信。如果要吹毛求疵的话,轮毂确实还可以更锐利一些,图像生成这一步让轮毂的纹理有点软。不过因为这是一个大幅度运动的无人机镜头,这点轻微的柔化反而对我们有利,它会自然地被看作运动模糊和镜头景深。

总的来说,它不到一天就救回了这个镜头。把快速的生成式工具与基础的合成逻辑结合起来,正在成为处理这类临时连续性难题的一种非常强大的方式。