今日应用
今日话题
腾讯、上海科大开源InstantMesh,图片直接生成3D模型
重点标签 InstantMesh、3D模型、AIGC、多视图扩散模型、稀疏视图重建模型
文章摘要
InstantMesh是一个由腾讯PCG ARC实验室和上海科技大学研究人员联合开源的创新模型,它能够将一张图片在十秒内转换为360度全视角的3D模型。该模型可以下载并用于3D Max、玛雅等专业软件中,简化了游戏、广告、家居、虚拟现实等开发流程。在公开数据集上的测试显示,InstantMesh生成的3D模型在视觉质量和几何精度上都优于现有最新方法,如LGM、CRM等,并且在多视角合成任务上也优于SV3D等知名扩散模型。
InstantMesh的技术创新在于结合了多视图扩散模型和稀疏视图重建模型。多视图扩散模型负责生成一系列新视角图像,覆盖目标物体的多个方向,为3D网格预测打下基础。而稀疏视图重建模型则将这些视图拼装成3D模型,并通过可微分的等值面提取模块对网格表面进行几何监督,优化3D模型的细节和平滑度。这种方法避免了体素渲染的高计算消耗,同时能利用全分辨率的RGB图像、深度图和法线图作为训练监督,使得生成的3D模型更加适合于后续的渲染、编辑和分析等应用。
研究人员还提到,多视图扩散模型可以看作是InstantMesh的“眼睛”,帮助它深度剖析每一张上传的图片。而稀疏视图重建模型则负责将多视图扩散模型生成的视图拼装成3D模型,整个过程就像玩拼图游戏一样,需要从一张完整的图片中找到所有可能的视角,然后将它们拼凑起来,形成一个完整的立体图像。
InstantMesh的开源地址为:https://github.com/TencentARC/InstantMesh,在线demo地址为:https://huggingface.co/spaces/TencentARC/InstantMesh,论文地址为:https://arxiv.org/abs/2404.07191。