今日应用
今日话题
CVPR 2024 | 仅需文本或图像提示，新框架CustomNeRF精准编辑3D场景
重点标签 CustomNeRF、3D场景编辑、NeRF、CVPR2024、开源
文章摘要
CustomNeRF是一种新型的3D场景编辑方法，由美图影像研究院（MT Lab）联合中国科学院信息工程研究所、北京航空航天大学、中山大学共同提出。该方法支持使用文本描述和参考图像作为编辑提示，已被CVPR 2024接收，并已开源代码。
自NeRF（Neural Radiance Field）技术问世以来，其在3D场景重建领域的应用不断扩展，推动了3D场景编辑技术的发展。然而，现有的基于预训练扩散模型的3D场景编辑方法存在挑战，特别是在实现精准控制和适应多样化编辑需求方面。CustomNeRF通过引入局部-全局迭代编辑（LGIE）训练方案，解决了这些挑战，实现了对图像前景区域的精确编辑。
CustomNeRF的核心贡献包括：
1. 统一编辑提示：CustomNeRF将文本描述和参考图像统一为编辑提示，通过微调预训练的扩散模型，将参考图像中的视觉主体嵌入到混合提示中，满足一般化和定制化的编辑需求。
2. 局部-全局迭代编辑：提出的LGIE训练方案能够在图像前景区域编辑和全图像编辑之间交替进行，准确定位前景区域，同时保留背景内容。
3. 类引导正则化：为了解决图像驱动编辑中的几何不一致问题，CustomNeRF设计了类引导的正则化策略，利用预训练模型中的类先验，以更几何一致的方式编辑场景。
实验结果表明：
– CustomNeRF在文本驱动和图像驱动的3D场景编辑任务中均取得了优秀的编辑效果，与编辑提示良好对齐，且背景区域与原场景保持一致。
– 在文本对齐、图像对齐和人类评估等量化指标上，CustomNeRF超越了基线方法。
本研究的提出，不仅推动了3D场景编辑技术的发展，也为未来相关领域的研究提供了新的思路和方法。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
相关文章
