AI vs. 物理：视频转视频模型能处理流体折射和焦散吗？

作为一名视觉特效艺术家，程序化流体模拟是我工作流程里的常客。搭建自定义速度场、在 Houdini 里调整 FLIP 解算器、为水体调出物理准确的渲染，都需要时间、算力和大量耐心。随着 AI 视频转视频模型的爆发式增长，一个很自然的问题出现了：这些工具能不能绕过传统流体模拟中繁重的工作？

具体来说，我想测试 AI 能不能准确地理解水的运动、光线穿过体积时的折射，以及水的焦散。为了找到答案，我设计了一个压力测试，把传统的程序化工作流与两个 AI 模型做对比：Seedance 2.0 和 Kling 3.0。

下面是这个实验和结果的拆解。

为了建立基准，我在 Houdini 里搭建了一个受控的模拟。设置很简单，但专门用来测试特定的光学属性：

场景用 Karma 渲染。这次渲染的第一帧，作为光线应当如何在水下立方体周围弯曲、并在海底投下焦散的“标准答案”（同时也是参考图像）。整个 3 秒的镜头也被渲染并合成出来，用来与其他生成式 AI 的输出做比较。

用 Houdini 制作并在 After Effects 中合成的最终镜头。

为了测试 AI，我给模型提供了完全相同的起点和运动数据。

输入帧：从 Houdini 渲染中提取的第一帧。
参考运动：导出的 flipbook 动画（mp4），包含波浪以及小型海洋几何体的运动。
提示词（保持英文原文）：Use ff as first frame. ff shows a yellow cube in shallow water with water caustics, distorted by refraction of light. Use Video1 as reference video for movement of water and position of cube. Interpret the distortion of the cube and water caustics. No audio.

作为参考视频使用的 Houdini flipbook 渲染

这套完全相同的组合，被同时交给了 Seedance 2.0 和 Kling 3.0。

评估输出时，需要抛开 AI 生成最初那种“哇”的惊艳感，批判性地分析场景中的物理。

Seedance 2.0 输出

水的运动：Seedance 在模仿 flipbook 参考中的波浪运动方面，做得出人意料地好。它看起来确实像一种流体，水面上散布的纯白反光也很有说服力。
材质属性：物理就是在这里崩掉的。Seedance 没有渲染出泳池里的清澈水体，而是生成了一种看起来不透明的天蓝色液体。
折射：因为模型幻想出了一种高度不透明的液体，光线传输的物理完全不合逻辑。一种浓稠、不透明的液体，不应该让水下立方体发出的光线折射得那么清晰。先不论这一点，与 Karma 渲染相比，立方体上的畸变也极其轻微。看起来模型只是把物体变形成了我在参考视频里留下、用来大致标示位置的那个黄色方块。（给之后测试的备注：去掉这个跟踪方块，也许能让 AI 更自由地诠释真实的光学畸变，而不是把它当作一个僵硬的变形目标。）
水的焦散：由于生成的流体不透明，焦散几乎完全不存在。

Kling 3.0 输出

输出：对这个具体用途来说，Kling 3.0 的结果完全无法使用。模型彻底误解了提示词和参考，生成了看起来像一层冻住的冰、下面有水在流动的画面。虽然池底有一些类似焦散的模糊图案，立方体也有一些畸变，但整体输出是对输入数据的一次失败的解读。

视频转视频的 AI 模型在跟踪二维表面位移方面取得了惊人的进步，但这个测试暴露出，它们在理解体积数据和复杂的物理光线传输方面，存在巨大的差距。

这些 AI 工具把参考当作一个二维扭曲任务来处理。Seedance 2.0 成功模仿了水面的流动感，但没能理解水的深度，把一种清澈、会折射的介质变成了不透明的液体，从根本上破坏了材质属性。Kling 3.0 则干脆幻想出了完全不同的物理状态。

就目前而言，如果一个项目需要精确的光学还原，也就是折射和焦散必须与水下物体准确地相互作用，那它仍然绝对需要一个可靠的程序化解算器和基于物理的渲染器。AI 可以近似出运动的大致轮廓，但真正的流体物理，仍然稳稳地留在传统 3D 流程的领域里。