Industry

研究

Client

2024年4月12日

时光延续视频生成项目 MagicTime

Open Sora 团队发布了另一个视频生成项目 MagicTime。 只可以制作变形时光延续视频,比如花朵开放,冰块融化等,能够学习并应用现实世界的物理规律。 已经放出了代码实现。

详细介绍:

首先开发了一套名为 MagicAdapter 的技术,通过分开处理空间和时间训练,它能从变形视频中提取更多的物理知识,并使预训练的T2V模型能够生成这类视频。 接着,引入了动态帧提取策略,这个策略特别适用于变形时光延续视频,因为这类视频变化范围广泛,涵盖了物体戏剧性的变化过程,从而包含了更丰富的物理知识。 还设计了一种名为 Magic Text-Encoder 的工具,用以提升对这类变形视频提示信息的理解。 此外,还特别创建了一个名为 ChronoMagic 的时光延续视频-文本数据集,旨在提升变形视频生成的能力。

© 2024 GUIZANG, Inc. All rights reserved.