腾讯、上海科大开源InstantMesh,图片直接生成3D模型

AI最新资讯2周前发布 tree
10 0 0

今日应用


今日话题


腾讯、上海科大开源InstantMesh,图片直接生成3D模型
腾讯、上海科大开源InstantMesh,图片直接生成3D模型
 

重点标签 InstantMesh3D模型AIGC多视图扩散模型稀疏视图重建模型

文章摘要


InstantMesh是一个由腾讯PCG ARC实验室和上海科技大学研究人员联合开源的创新模型,它能够将一张图片在十秒内转换为360度全视角的3D模型。该模型可以下载并用于3D Max、玛雅等专业软件中,简化了游戏、广告、家居、虚拟现实等开发流程。在公开数据集上的测试显示,InstantMesh生成的3D模型在视觉质量和几何精度上都优于现有最新方法,如LGM、CRM等,并且在多视角合成任务上也优于SV3D等知名扩散模型。

InstantMesh的技术创新在于结合了多视图扩散模型稀疏视图重建模型多视图扩散模型负责生成一系列新视角图像,覆盖目标物体的多个方向,为3D网格预测打下基础。而稀疏视图重建模型则将这些视图拼装成3D模型,并通过可微分的等值面提取模块对网格表面进行几何监督,优化3D模型的细节和平滑度。这种方法避免了体素渲染的高计算消耗,同时能利用全分辨率的RGB图像、深度图和法线图作为训练监督,使得生成的3D模型更加适合于后续的渲染、编辑和分析等应用。

研究人员还提到,多视图扩散模型可以看作是InstantMesh的“眼睛”,帮助它深度剖析每一张上传的图片。而稀疏视图重建模型则负责将多视图扩散模型生成的视图拼装成3D模型,整个过程就像玩拼图游戏一样,需要从一张完整的图片中找到所有可能的视角,然后将它们拼凑起来,形成一个完整的立体图像。

InstantMesh的开源地址为:https://github.com/TencentARC/InstantMesh,在线demo地址为:https://huggingface.co/spaces/TencentARC/InstantMesh,论文地址为:https://arxiv.org/abs/2404.07191。

文章来源


原文地址: 点我阅读全文
原文作者: AIGC开放社区

© 版权声明

相关文章

暂无评论

暂无评论...