Meta推AI视频模型Fairy，轻松替换视频人物、改变风格

Meta 的 GenAI 团队推出了名为 Fairy 的视频到视频综合模型，该模型比现有模型更快，时间上更一致。研究团队展示了 Fairy 在几个应用中的表现，包括角色 / 物体替换，风格化和长形式视频生成。

比如，只需简单的文本提示，如 “仿梵高风格”，就足以编辑源视频。例如，文本命令 “变成雪人” 将视频中的宇航员变成了雪人。

Fairy 的视觉连贯性是一个特别具有挑战性的问题，因为基于相同提示有无数种方法可以修改给定的图像。Fairy 使用交叉帧关注机制，这是一种隐式传播扩散特征的机制，确保了优越的时间连贯性和高保真度的合成。

该模型可以在仅14秒内生成大小为512x384像素、120帧（30fps 下的4秒）的视频，比以前的模型至少快44倍。与 Meta 的 Emu 视频模型一样，Fairy 是基于用于图像处理的扩散模型，经过了视频编辑的增强。

Fairy 在处理源视频的所有帧时不进行时间降采样或帧插值，并保持了512的水平输出视频的纵横比。在使用六个 A100GPU 进行测试时，Fairy 能够在71.89秒内渲染一个27秒的视频，并保持高度的视觉一致性。

Fairy 的性能在一个包含1000个生成样本的广泛用户研究中进行了测试。无论是人类判断还是定量指标都证实，Fairy 的表现优于 Rerender、TokenFlow 和 Gen-1这三个模型。

然而，该模型目前在处理如雨、火灾或闪电等动态环境效果方面存在问题，这些效果要么无法很好地融入整个场景，要么会产生视觉错误。

尽管存在这些问题，研究团队认为他们的工作在 AI 视频编辑领域代表了一次重大进展，具有对时间一致性和高质量视频合成的变革性方法。