TZJTan Zi Jian
← 博客

AI 能处理真正的物理吗?测试折射与动态阴影(Houdini vs. Kling 3.0 vs. Seedance 2.0)

最近大家都见过网上流传的那些令人惊艳的 AI 视频片段。把首帧(FF)图像与参考视频结合起来,创作者们能得到相当可信的输出,尤其是当参考素材只是简单、实心的几何体时。

但可信并不等于物理上准确。

随着 AI 模型越来越擅长模仿运动,一个重要的问题仍然存在:我们能在多大程度上相信 AI 可以正确处理基于物理的渲染,比如复杂的光线透射、折射和动态阴影?

为了找到答案,我搭建了一个严格受控的环境,来测试现代 AI 视频生成器到底是真的“理解”光,还是只是在幻想漂亮的像素。

设置:建立标准答案

为了避免任何歧义,我完全放弃了真实世界的摄像机素材。我完全在 Houdini 里搭建了一个对照测试,包含调好的材质、物理准确的灯光,以及一个移动的光源。

场景:一个明亮的球形光源,在一个透明橙色立方体的后方水平移动,投下动态的、柔和的彩色阴影。给 AI 的输入:

  • 参考视频:Houdini Flipbook 视口的原始预览(提供精确的几何运动路径)。
  • 首帧:完整渲染并降噪后的 Houdini 序列的第一帧。
  • 提示词(保持英文原文):“Moving bright ball of light. Realistic shadow cast by the transparent orange cube. Use reference image as first frame.”
Houdini Flipbook 渲染
用于给生成式 AI 模型提供提示的首帧图像

我把这些完全相同的输入,交给了两款领先的多模态视频生成器:Kling 3.0 和 Seedance 2.0。下面是结果的拆解。

结果分析

1. 标准答案(Houdini + 降噪)

在评判 AI 之前,先看看真实的物理是怎样表现的。在 Houdini 渲染中,当明亮的球体在透明立方体后方从左向右移动时,产生的彩色阴影,其角度的变化与光源精确地成反向关系。投射到地面上的橙色阴影在物理上是准确的,并随着光源位置的变化而合乎逻辑地缩放。

Houdini 对照渲染镜头

2. Kling 3.0:美观悦目,物理上几乎到位

Kling 3.0 输出

Kling 3.0 在保持首帧确立的初始美感方面,做得非常值得称赞。地面的质感和立方体的玻璃质感都保持得相当稳定,球体的整体运动以及立方体上的反射,都与对照素材惊人地相似。

物理拆解:在片段的大部分时间里,Kling 模仿阴影投射逻辑的表现其实出奇地不错。它能够推断深度:当球体向画面右侧移得更远时,Kling 会正确地拉长阴影,与 Houdini 对照素材的表现一致。然而,它对绝对空间坐标的理解,会在特定的时间点崩掉。如下面的参考帧所示,当球体正好位于立方体后方时,Kling 没有通过几何测试,把阴影偏向了左边,而不是直接投在立方体的正前方。它是根据视觉上下文来近似物理,而不是在计算真实的空间关系。

尽管光源就在立方体正后方,Kling 还是把阴影偏向了左边。

3. Seedance 2.0:松散的跟踪与自由发挥

Seedance 2.0 输出

Seedance 2.0 似乎有自己的想法和主见。尽管输入的提示词和参考视频完全一样,它却主动决定无视 1:1 的运动约束,转而做了一个镜头摇移。

物理拆解:虽然它放弃了跟踪数据(参考视频明确显示了球体相对于立方体的大小和位置,而 Seedance 却把球体的运动解读为完全对称的从左到右),但它对自己想法的执行令人印象深刻。镜头摇移处理得很顺滑,灯光和材质的渲染效果,看起来与 Kling 和 Houdini 对照组完全相当。

结论

AI 视频生成的真实状态,并不是在物理上彻底失败,而是它依靠的是经过高度训练的美学近似,而不是数学模拟。

Kling 3.0 证明了 AI 能够推断复杂的物理关系,比如光源越远阴影越长,但当缺少真正的 3D 坐标系时,它仍然会在基本的空间对齐上出错。Seedance 2.0 证明了这些模型能够渲染出漂亮、准确的材质和灯光,但它们往往把电影感的发挥,置于严格遵守你的控制输入之上。

说到底,如果你不需要与控制素材做精确的 1:1 运动跟踪,像 Seedance 这样的工具会以一种“成功的失败”,给你提供漂亮、可用的替代方案。但如果你所在的流程要求绝对的精确,比如光必须准确地把阴影投在它的正下方,那么 AI 仍然是一个充满创意自由发挥的黑箱。要想真正掌控,程序化工作流依然所向披靡。