用2D图像生成3D模型，微软新AI模型或成游戏业福音

来源：澎湃新闻

将2D图像转换为3D图像，对于视频游戏开发人员、电子商务公司、动画公司来说，至关重要，但这并不容易。包括Facebook，英伟达等科技巨头的人工智能（AI）研究实验室，以及一些初创公司都在这个领域里不断探索。

近日，微软研究院（Microsoft Research）的研究团队发表了一篇预印论文，他们在论文中详细介绍了一个新的AI框架，该框架采用“可缩放”训练技术，可将2D图像进行3D形状的模拟生成。研究人员表示，在使用2D图像进行训练时，该框架始终可以比现有的模型生成效果更好的3D形状，这对于游戏开发、视频制作、动画等领域是一个极佳的自动化工具。

微软AI模型生成的3D沙发、椅子和浴缸

通常来说，一个模型框架要将2D转换为3D图像，需要通过栅格化处理来进行微分步骤渲染，因此，过去研究人员在该领域的努力都专注于开发定制渲染模型。然而，通过此类模型处理的图像会显得不够真实自然，也不适合用于生成游戏以及图形产业的工业效果图。

微软团队则是使用了工业渲染器，这个渲染器可以根据显示数据来生成图像。此外，研究人员还训练了3D形状生成模型，以便渲染形状，并生成与2D数据集分布相匹配的图像。换句话说，这是一种新颖的代理神经渲染器，可以直接渲染由3D形状生成模型生成的连续体素网格。

在实验过程中，研究团队在上述3D形状生成模型中采用了3D卷积GAN架构。GAN又称为生成式对抗网络，是一个由两部分组成的AI模型，它可以基于3D模型生成的数据集和真实的数据集，合成来自不同对象类别的图像，并在整个训练过程中从不同角度进行渲染。

微软AI模型生成的3D蘑菇图像

此外，研发人员在论文中表示，它们的新方法还充分利用了2D照片中光照和阴影的信息，具体而言，是利用表面之间的曝光差值，进行检测凹面和凸面，以及内部结构，从而判断物体三维物体的中心，从而实现更好的模拟训练，生成更逼真的3D模型。

据研究人员介绍，他们的下一步计划是将整套方法整合出一个相对完整的系统，将颜色、材料、光照等细节统统加入进来，从而打造一个“更为全面”真实照片转换三维模型的数据集。