最近人工智能在一个令人惊讶的领域产生了令人印象深刻的结果：图像和视频生成的世界。最新的例子来自芯片厂商Nvidia，该公司今天发布的研究显示AI生成的视觉效果如何与传统的视频游戏引擎相结合。结果是一个混合图形系统，有朝一日可用于视频游戏，电影和虚拟现实。
这项工作的一个产品是第一个带有AI生成图形的视频游戏demo。这是一个简单的驾驶模拟demo，玩家可以在AI生成的几个城市街区中导航，但不能离开他们的车或以其他方式与世界互动。该demo仅使用一个GPU即可实现，这是这项前沿工作的显着成就。虽然不可否认GPU是公司价值3000美元Titan V顶级产品，也是有史以来最强大的PC GPU，而且通常用于高级模拟处理而不是游戏。
Nvidia的系统使用几个步骤生成图形。首先，研究人员必须收集训练数据，在这种情况下，这些数据来自用于自动驾驶研究的开源数据集。然后将该镜头分段，意味着每个帧被分成不同的类别：天空，汽车，树木，道路，建筑物等。然后，对该分段进行数据训练，生成对抗网络，以生成这些对象的新版本。
接下来，工程师使用传统的游戏引擎创建了虚拟环境的基本拓扑。在这种情况下，该系统是虚幻引擎4，这是一种流行的引擎，用于诸如Fortnite，PUBG，Gears of War 4等许多其他游戏。使用此环境作为框架，深度学习算法然后实时生成每个不同类别的项目图形，将它们粘贴到游戏引擎的模型上。
为了创建这个系统，Nvidia的工程师必须解决许多挑战，其中最大的挑战是对象持久性。因为深度学习算法只能以每秒25帧的速率为世界生成图形，它们如何保持对象看起来相同？ 解决方案是给系统一个短期记忆，以便将每个新帧与之前的帧进行比较。它试图预测这些图像中的运动物体，并创建与屏幕上内容一致的新帧。所有这些计算都很昂贵，因此游戏只能以每秒25帧的速度运行。
Catanzaro强调，这项技术处于早期阶段，而且人工智能生成的图形可能需要几十年时间才能出现在消费者头衔中。他将这种情况与光线跟踪的发展进行了比较，光线跟踪是当前图形渲染的热门技术，其中实时生成单独的光线，以在虚拟环境中创建逼真的反射，阴影和不透明度。 第一次交互式光线追踪演示发生在很久很久以前，但直到几周前我们还没有在游戏中得到应用。
