Video2Game 视频生成游戏

Video2Game这个新项目有意思。

它能够自动把现实世界的场景视频转化为逼真并且可以互动的游戏环境。

系统核心由三个主要部分组成：

(i) 一个神经辐射场 (NeRF) 模块，这一模块有效地捕捉了场景的几何形状和视觉表现；

(ii) 一个网格模块，用于从 NeRF 中提取信息，从而加快渲染速度；

(iii) 一个物理模块，该模块处理物体间的互动和物理运动。遵循我们精心设计的流程，可以创建一个可交互、可操作的现实世界的虚拟复制品。 这个系统不仅能实时生成极为逼真的图像，还能在此基础上开发互动游戏。