[[393977]]

NVIDIA 研究部正在开发一种新的深度学习引擎，该引擎可以根据标准2D 图像创建3D 模型，并将由Knight Rider 的AI 提供支持的KITT 等标志性汽车在NVIDIA Omniverse 中栩栩如生。

GANverse3D 应用程序由多伦多NVIDIA AI 研究实验室开发，可将平面图像升级为可在虚拟环境中可视化和控制的逼真3D 模型。这种性能可帮助建筑师、创作者、游戏开发人员和设计师轻松地将新对象添加到他们的实体模型中，而无需3D 建模方面的专业知识或在渲染上花费大量预算。

例如，一张汽车照片可以转换为3D 模型，可以在虚拟场景中驾驶，并配有逼真的前灯、尾灯和转向灯。

为了生成训练数据集，研究人员使用生成对抗网络——GAN 合成从多个角度描绘同一物体的图像- 就像摄影师在停放的汽车周围走动并从不同角度拍摄一样。这些多视图图像被插入到逆向图形的渲染框架中，即从2D 图像推断3D 网格模型的过程。

一旦多视图图像训练完成，GANverse3D只需要2D图像来预测3D网格模型。该模型可与3D 神经渲染器一起使用，允许开发人员自定义对象并交换背景。

当作为NVIDIA Omniverse 平台的扩展导入并在NVIDIA RTX GPU 上运行时，GANverse3D 可以将任何2D 图像重建为3D，就像KITT（20 世纪80 年代热门电视节目《霹雳游侠》中深受喜爱的打击犯罪汽车KITT 一样）。

以前的逆向图形模型依赖3D 图形作为训练数据。

相反，在没有3D 特征的帮助下，“我们将GAN 模型变成了一个非常高效的数据生成器，这样我们就可以根据网络上的任何2D 图像创建3D 对象。”该项目的主要作者Wenzheng Chen 表示，NVIDIA 研究科学家表示。

“由于我们使用真实图像而不是合成数据进行训练，因此AI 模型能够更好地推广到现实世界的应用程序，”NVIDIA 研究员兼该项目的作者Jun Taka 说道。

GANverse3D 背后的研究将在即将举行的两个会议上展示：5 月的ICLR 和6 月的CVPR。

从爆胎到赛车 KITT游戏、建筑和设计领域的创作者依靠虚拟环境（例如NVIDIA Omniverse 模拟和协作平台）在创建最终产品之前测试新想法并可视化原型。借助Omniverse 连接器，开发人员可以在Omniverse 中使用他们喜欢的3D 应用程序，通过实时光线追踪来模拟复杂的虚拟世界。

但并非每个创作者都有时间和资源为他们绘制的每个对象创建3D 模型。为了渲染陈列室或建筑物街道中的汽车，捕获所需数量的多视图图像的成本可能令人望而却步。

在这方面，训练有素的GANverse3D 应用程序可用于将汽车、建筑物甚至马的标准图像转换为可在Omniverse 中自定义和动画的3D 图形。

为了重建KITT，研究人员只需输入经过训练的汽车模型图像，让GANverse3D 预测相应的3D 纹理网格，以及车辆的不同部分，例如车轮和前灯。然后，他们使用NVIDIA Omniverse 套件和NVIDIA PhysX 工具将预测的纹理转换为高质量材质，为KITT 提供更真实的外观和感觉，并将其与动态驾驶序列中的其他汽车放在一起。

NVIDIA 深度学习工程师Jean-Francois Lafleche 表示：“Omniverse 使研究人员能够直接为创作者和最终用户带来令人兴奋的前沿研究。” “作为Omniverse 的扩展，GANverse3D 将帮助艺术家创建更丰富的虚拟世界，用于游戏开发、城市规划，甚至训练新的机器学习模型。”

GAN 推动维度转变由于现实世界中从不同角度捕获同一对象的数据集很少，因此大多数将图像从2D 转换为3D 的AI 工具都是使用ShapeNet 等合成3D 数据集进行训练的。

为了从真实世界的数据（例如在线发布的汽车图像）中获取多视图图像，NVIDIA 研究人员转向GAN 模型，修改其神经网络层并将其转变为数据生成器。

研究小组发现，仅训练神经网络的前4 层并冻结其余12 层的参数，可以让GAN 从不同角度渲染同一物体的图像。

保持前4 层参数不变，其余12 层参数可变，使得神经网络能够基于相同角度生成不同的图像。通过手动指定标准角度来拍摄特定高度和距离的车辆，研究人员可以从单个2D 图像快速生成多视图数据集。

最终模型在55,000 张GAN 生成的汽车图像上进行训练，其性能优于在流行的Pascal3D 数据集上训练的逆图网络。