CVPR 2024 | 仅需文本或图像提示,新框架CustomNeRF精准编辑3D场景

AI最新资讯1个月前发布 tree
36 0 0

今日应用


今日话题


CVPR 2024 | 仅需文本或图像提示,新框架CustomNeRF精准编辑3D场景
CVPR 2024 | 仅需文本或图像提示,新框架CustomNeRF精准编辑3D场景
 

重点标签 CustomNeRF3D场景编辑NeRFCVPR2024开源

文章摘要


CustomNeRF是一种新型的3D场景编辑方法,由美图影像研究院(MT Lab)联合中国科学院信息工程研究所、北京航空航天大学、中山大学共同提出。该方法支持使用文本描述和参考图像作为编辑提示,已被CVPR 2024接收,并已开源代码。

NeRF(Neural Radiance Field)技术问世以来,其在3D场景重建领域的应用不断扩展,推动了3D场景编辑技术的发展。然而,现有的基于预训练扩散模型的3D场景编辑方法存在挑战,特别是在实现精准控制和适应多样化编辑需求方面。CustomNeRF通过引入局部-全局迭代编辑(LGIE)训练方案,解决了这些挑战,实现了对图像前景区域的精确编辑。

CustomNeRF的核心贡献包括:

1. 统一编辑提示:CustomNeRF将文本描述和参考图像统一为编辑提示,通过微调预训练的扩散模型,将参考图像中的视觉主体嵌入到混合提示中,满足一般化和定制化的编辑需求。

2. 局部-全局迭代编辑:提出的LGIE训练方案能够在图像前景区域编辑和全图像编辑之间交替进行,准确定位前景区域,同时保留背景内容。

3. 类引导正则化:为了解决图像驱动编辑中的几何不一致问题,CustomNeRF设计了类引导的正则化策略,利用预训练模型中的类先验,以更几何一致的方式编辑场景。

实验结果表明:

– CustomNeRF在文本驱动和图像驱动的3D场景编辑任务中均取得了优秀的编辑效果,与编辑提示良好对齐,且背景区域与原场景保持一致。
– 在文本对齐、图像对齐和人类评估等量化指标上,CustomNeRF超越了基线方法。

本研究的提出,不仅推动了3D场景编辑技术的发展,也为未来相关领域的研究提供了新的思路和方法。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...