MeshGPT优化AI驱动3D模型，可避免细节丢失和过度三角化以及提高精度和效率

2023年12月5日，南极熊获悉，慕尼黑工业大学（TUM）和都灵理工大学的研究人员与奥迪公司联手开发了MeshGPT，这是一款采用生成式AI的3D网格生成软件，它极大简化了生成3D模型的过程。

△通过对比，该团队采用AI生成的3D模型在建模细节和清晰度上具有优势（右下）

该研究创新性地运用仅包含解码器的变压器来创造更为清晰、更为连贯的三角形网格，形状覆盖率显著提升了9%，FID分数（用于评估计算机生成图像质量的指标）提高了30分，相较于现有方法，这代表着更为锋利的边缘、更高的真实感和更紧凑的设计，并且确立了新的质量标准。

△该研究的详细论文可在这里查阅，题目为“MeshGPT:用解码器转换器生成三角网格”（传送门）

MeshGPT通过从Transformer模型中进行自回归采样，从已学习的几何词汇中生成标记，然后将这些标记解码为三角形网格的面。MeshGPT的表现反映了艺术家创造的网格常见的紧凑特性，与通过等曲面方法从神经场提取的密集三角形网格形成了鲜明对比。受到大型语言模型最新进展的启发，研究人员采用了基于序列的方法，以自回归方式生成三角形网格序列。

△TUM和都灵理工大学的研究人员与奥迪公司合作进行的一项研究结果

第一步是使用图卷积学习潜在量化嵌入的词汇。这将为我们提供有关局部网格几何和拓扑结构的嵌入信息。术语“量化嵌入”指的是一种在自然语言处理（NLP）和机器学习中广泛使用的技术，它以离散的形式表示和存储词嵌入或连续值向量。

△生成模型在跨各种语言生成文本方面表现出了良好的能力

这些嵌入经过解码器的排序和解码，最终被呈现为三角形形状，确保它们能够有效地还原原始网格。接下来，通过使用学到的词汇训练变压器模型，以预测下一个嵌入的索引，从而进一步优化模型。通过训练，该模型能够执行自回归采样，生成新的三角形网格，直接产生具有锐利边缘和高效三角测量模式的紧凑网格，更接近于人工网格的表现。

该团队进一步表示，MeshGPT相对于最先进的网格生成方法显示出显著改进，形状覆盖率提高了9%，各个类别的FID分数提高了30分。与现有方法相比，MeshGPT能够避免错过细节导致过度三角化的网格，同时避免输出过于简化的形状。另外，该技术不仅适用于单一物体的3D模型生成，还可以扩展应用到生成整个场景所需的3D资源，包括多个物体的模型。。