腾讯、上海科大开源InstantMesh，图片直接生成3D模型

今日应用

在线弹钢琴

在线弹钢琴

今日话题

腾讯、上海科大开源InstantMesh，图片直接生成3D模型

 

重点标签 InstantMesh、3D模型、AIGC、多视图扩散模型、稀疏视图重建模型

文章摘要

InstantMesh是一个由腾讯PCG ARC实验室和上海科技大学研究人员联合开源的创新模型，它能够将一张图片在十秒内转换为360度全视角的3D模型。该模型可以下载并用于3D Max、玛雅等专业软件中，简化了游戏、广告、家居、虚拟现实等开发流程。在公开数据集上的测试显示，InstantMesh生成的3D模型在视觉质量和几何精度上都优于现有最新方法，如LGM、CRM等，并且在多视角合成任务上也优于SV3D等知名扩散模型。

InstantMesh的技术创新在于结合了多视图扩散模型和稀疏视图重建模型。多视图扩散模型负责生成一系列新视角图像，覆盖目标物体的多个方向，为3D网格预测打下基础。而稀疏视图重建模型则将这些视图拼装成3D模型，并通过可微分的等值面提取模块对网格表面进行几何监督，优化3D模型的细节和平滑度。这种方法避免了体素渲染的高计算消耗，同时能利用全分辨率的RGB图像、深度图和法线图作为训练监督，使得生成的3D模型更加适合于后续的渲染、编辑和分析等应用。

研究人员还提到，多视图扩散模型可以看作是InstantMesh的“眼睛”，帮助它深度剖析每一张上传的图片。而稀疏视图重建模型则负责将多视图扩散模型生成的视图拼装成3D模型，整个过程就像玩拼图游戏一样，需要从一张完整的图片中找到所有可能的视角，然后将它们拼凑起来，形成一个完整的立体图像。

InstantMesh的开源地址为：https://github.com/TencentARC/InstantMesh，在线demo地址为：https://huggingface.co/spaces/TencentARC/InstantMesh，论文地址为：https://arxiv.org/abs/2404.07191。

文章来源

原文地址: 点我阅读全文
原文作者: AIGC开放社区