可将图文转成3D模型！OpenAI 发表新的Shap-E开源模型

2023年5月15日，南极熊获悉，发布著名人工智能产品ChatGPT 的OpenAI公司近日在 GitHub 网站上上发布了一款名为Shap-E 的条件生成模型，专门用于生成3D 图像。该模型可供用户免费下载使用，它能够使用文本从头开始生成模型，从而将 2D 图像转换为 3D 模型，还可以获取模型并对其进行更改。从长远来看，这可能会大大增加 3D 打印的普及率。毕竟对于3D打印从业者来讲，熟练的建模能力是不可或缺的一环。

Shap-E下载链接：https://github.com/openai/shap-e

与这项研究相关的还有一篇由 Alex Nichol 和 Haewoo Jun 撰写的随附论文，题为“Shap-E: GeneratingConditional 3D Implicit Functions”。

论文链接：https://arxiv.org/abs/2305.02463

根据 OpenAI 的说法，Shap-E是一种新型的3D 图像条件生成模型。传统的模型只能生成单一的输出表达形式，但Shap·E 可以生成隐式函数的参数，这些函数可以作为纹理网格或神经辐射场(NeRF) 进行渲染，从而实现多样化和逼真的3D 图像生成。Shap·E 采用了隐式神经表示(INRs) 来编码3D 图像，提供了一个灵活且高效的框架，能够捕捉到3D 图像的详细几何特征。

使用AI 生成3D 模型是想当困难的，因为3D 模型可以是非常复杂，具有大量的细节和纹理。因此，需要处理大量的数据和计算来生成这些模型，这需要强大的计算机和算法支持。同时需要精确测量和处理大量的数据，包括几何形状、尺寸、纹理、颜色等等。因此，算法必须具有高度的精度和准确性，以确保生成的3D 模型符合预期。

Shap-E 的训练包括先将编码器用来将3D 图像转换成隐式函数参数，再用有条件扩散模型进行训练，从而生成多样且复杂的3D 图像。与Point-E 模型相比，Shap-E 在更高维度和多重表示输出空间的情况下，显示出更快的修正速度和相当或更好的样本质量。

与Point-E的对比

OpenAI去年发表的Point-E是据文字提示产生3D点状云，而新发布的Shap-E可以将文字或图片转成3D图形的Shap-E模型。输出文件可以在微软小画家3D（Paint 3D）中打开，甚至能够转成用于3D打印机的STL文件。此外，Shap-E相较去年发表的Point-E，能够提供更好的3D图像，产出效率更高。

OpenAI所开发的Shap-E 3D模型，是直接建立出物体的轮廓，并采用神经辐射场（Neural Radiance Fields，NeRF）的功能，克服了初期模型的模糊性。NeRF与VR、AR使用的技术相同，可使3D场景视觉上更有临场真实。Shap-E 可在GitHub下载，并能在个人电脑上安装执行，目前Shap-E也不需要OpenAI API密钥，能够免费使用。

据外媒《Tom's Hardware》测试，Shap-E无论是要利用图片还是文字都需要大量的电脑系统资源。Tom'sHardware 指出，例如以搭载RTX 3080显卡和Ryzen9 5900X处理器的桌机跑Shap-E，完成绘制大约需要5分钟。

而在ROG电竞笔电配备RTX 4090显卡和Intel Core i9-13980HX处理，只需要两到三分钟。但当尝试在搭载Intel第8 代U 系列处理器结合内建显卡的旧款笔电跑Shap-E，1 个小时只绘制约3%。此外Shap-E 不支援NVIDIA以外的显卡品牌，硬体规格需要达到一定程度，才不会耗费许多等待时间。整体而言，目前Shap-E的成果多数仍是低解析度，缺少细节。

开源的Shap-E 模型

用户可以在 GitHub 上免费下载Shap-E模型，并在 Microsoft Paint 3D 上打开这一程序。该程序可以将用户创建的渲染3D图像转换为 STL 文件，并通过3D 打印机如实呈现出来。

虽然 Shap-E 模型的这些基本知识可能看起来很简单，但可能需要一些技术知识才能安装和运行该模型。

Shap-E 开源模型的开发者Avram Piltch对其进行测试，他声称他花了 8 个小时才熟悉。他补充说，除了解释您应该使用 Python pip 命令进行安装之外，OpenAI 几乎没有提供任何说明。

安装后，Piltch 说他能够使用彩色动画 GIF 文件和单色 PLY 文件测试提示，他指出，动画 GIF 很受欢迎。这其中的一些有趣案例如下所示：包括一只企鹅、一把椅子和一架看起来像香蕉的飞机，所有这些都有不同的质量级别，具体取决于它们的文件类型。Piltch 还使用了该模型的功能，该功能允许用户上传 2D 图像以转换为 3D 对象。

△彩色动画GIF 文件

Shap-E开发者还指出，那些试图安装Shap-E 和渲染 3D 对象的人需要注意的是该模型需要大量的电脑系统资源。特别是，Shap-E 仅与 Nvidia GPU 兼容，需要高性能 CPU 才能在几分钟而不是几小时内完成渲染。