时光延续视频生成项目 MagicTime

Open Sora 团队发布了另一个视频生成项目 MagicTime。 只可以制作变形时光延续视频，比如花朵开放，冰块融化等，能够学习并应用现实世界的物理规律。 已经放出了代码实现。

详细介绍：

首先开发了一套名为 MagicAdapter 的技术，通过分开处理空间和时间训练，它能从变形视频中提取更多的物理知识，并使预训练的T2V模型能够生成这类视频。 接着，引入了动态帧提取策略，这个策略特别适用于变形时光延续视频，因为这类视频变化范围广泛，涵盖了物体戏剧性的变化过程，从而包含了更丰富的物理知识。 还设计了一种名为 Magic Text-Encoder 的工具，用以提升对这类变形视频提示信息的理解。 此外，还特别创建了一个名为 ChronoMagic 的时光延续视频-文本数据集，旨在提升变形视频生成的能力。