浙大、蚂蚁集团推出MaPa:文本生成超真实3D模型

AI最新资讯5个月前发布 tree
83 0 0

今日应用


今日话题


浙大、蚂蚁集团推出MaPa:文本生成超真实3D模型
浙大、蚂蚁集团推出MaPa:文本生成超真实3D模型
 

重点标签 AIGCMaPa模型3D模型生成材质优化技术革新

文章摘要


AIGC领域的创新突破:MaPa模型
浙江大学、蚂蚁集团、深圳大学联合推出了MaPa模型,这一创新模型在AIGC领域实现了重大突破。MaPa模型能够通过文本直接生成高分辨率、物理光照、超真实材质的3D模型,极大地提升了游戏、VR、AR、影视等行业的开发效率。

与传统方法的对比优势
与传统的纹理方法相比,MaPa模型在无参考图像的情况下生成的模型材质、分辨率、局部细节方面表现更为出色。研究人员在多个知名平台上对MaPa进行了综合测试,结果显示其效果优于TEXTure、Text2tex、Fantasia3D等现有模型。

分段图像生成技术
MaPa模型在生成过程中采用了分段图像生成技术。这一技术将3D网格细分为多个细小的分段,类似于将一幅画作分解成多个小碎块,以便独立处理每块的细节,为后续上色和材质的精细调整打下基础。MaPa通过均匀采样一系列视角,并选择能够产生最多2D分段的视角作为起始视角,确保生成的2D图像能够捕捉到3D分段的细节。

3D材质分组与优化
MaPa模型还采用了3D材质分组技术,通过“材质分组”模块自动智能识别和分组相似材质的3D分段,提升渲染质量,同时减少后续优化流程。MaPa使用了GPT-4v模型进行材质分类,凭借其高识别准确率和对用户文本语义的强理解能力,精准提炼出文本中的特殊材质。此外,材质分组还内置了材质颜色相似性分析模块,通过反射率估计网络评估不同分段的颜色,进一步提升材质的一致性。

材质图优化与可微渲染模块
在材质分组完成后,MaPa从预建的材质图库中检索最相似的材质图作为初始值,并通过可微渲染模块对材质图的参数进行优化,使渲染图像尽可能接近生成的3D模型。MaPa使用了DiffMat v2框架,将材质图转换为纹理空间映射,如反照率图、法线图和粗糙度图等,提高材质的真实感,同时保持渲染效率。材质图优化模块还包括一个可微分渲染器,通过最小化渲染出的2D图像与生成的3D模型之间的差异来优化材质图参数。

连续迭代方法
由于3D模型的架构复杂,MaPa采用了连续迭代的方法,为模型的每个部分生成一致且真实的材质,即使是非常复杂的3D模型架构也能精准生成。

论文与版权声明
本文素材来源于MaPa论文,如涉及侵权请联系删除。论文地址为:https://arxiv.org/abs/2404.17569。

文章来源


原文地址: 点我阅读全文
原文作者: AIGC开放社区

© 版权声明

相关文章

暂无评论

暂无评论...