浙大、蚂蚁集团推出MaPa：文本生成超真实3D模型

今日应用

网易AI设计工坊

网易云课堂，一个专注于成人终身学习的在线教育平台。立足于实用性的要求, 与优质的教育内容创作者一起，为您提供全面、有效的在线学习内容。

今日话题

浙大、蚂蚁集团推出MaPa：文本生成超真实3D模型

 

重点标签 AIGC、MaPa模型、3D模型生成、材质优化、技术革新

文章摘要

AIGC领域的创新突破：MaPa模型
浙江大学、蚂蚁集团、深圳大学联合推出了MaPa模型，这一创新模型在AIGC领域实现了重大突破。MaPa模型能够通过文本直接生成高分辨率、物理光照、超真实材质的3D模型，极大地提升了游戏、VR、AR、影视等行业的开发效率。

与传统方法的对比优势
与传统的纹理方法相比，MaPa模型在无参考图像的情况下生成的模型材质、分辨率、局部细节方面表现更为出色。研究人员在多个知名平台上对MaPa进行了综合测试，结果显示其效果优于TEXTure、Text2tex、Fantasia3D等现有模型。

分段图像生成技术
MaPa模型在生成过程中采用了分段图像生成技术。这一技术将3D网格细分为多个细小的分段，类似于将一幅画作分解成多个小碎块，以便独立处理每块的细节，为后续上色和材质的精细调整打下基础。MaPa通过均匀采样一系列视角，并选择能够产生最多2D分段的视角作为起始视角，确保生成的2D图像能够捕捉到3D分段的细节。

3D材质分组与优化
MaPa模型还采用了3D材质分组技术，通过“材质分组”模块自动智能识别和分组相似材质的3D分段，提升渲染质量，同时减少后续优化流程。MaPa使用了GPT-4v模型进行材质分类，凭借其高识别准确率和对用户文本语义的强理解能力，精准提炼出文本中的特殊材质。此外，材质分组还内置了材质颜色相似性分析模块，通过反射率估计网络评估不同分段的颜色，进一步提升材质的一致性。

材质图优化与可微渲染模块
在材质分组完成后，MaPa从预建的材质图库中检索最相似的材质图作为初始值，并通过可微渲染模块对材质图的参数进行优化，使渲染图像尽可能接近生成的3D模型。MaPa使用了DiffMat v2框架，将材质图转换为纹理空间映射，如反照率图、法线图和粗糙度图等，提高材质的真实感，同时保持渲染效率。材质图优化模块还包括一个可微分渲染器，通过最小化渲染出的2D图像与生成的3D模型之间的差异来优化材质图参数。

连续迭代方法
由于3D模型的架构复杂，MaPa采用了连续迭代的方法，为模型的每个部分生成一致且真实的材质，即使是非常复杂的3D模型架构也能精准生成。

论文与版权声明
本文素材来源于MaPa论文，如涉及侵权请联系删除。论文地址为：https://arxiv.org/abs/2404.17569。

文章来源

原文地址: 点我阅读全文
原文作者: AIGC开放社区