今日应用
今日话题
一文回顾2024年2D/3D生成方向工作进展
重点标签 3D生成、扩散模型、DreamFusion、视频生成、材质建模、Transformer、4D动态场景、数字人、室内场景、室外场景
文章摘要
摘要总结:
2023年末至2024年间,3D生成领域经历了显著的技术进步。在这一时期,DreamFusion等项目的成功推动了基于2D扩散模型的3D生成技术发展。这些技术通过优化3D模型,虽然计算时间长,但展示了生成质量的显著提升。例如,Magic3D采用了两阶段coarse-to-fine策略,而Zero123则展示了微调扩散模型以实现新视角生成的能力。
进入2024年,3D生成领域出现了几个关键趋势。首先,高效三维表征的使用,特别是3D高斯表示,开始替代NeRF,成为研究的热点。其次,生成效率得到极大提升,现代3D生成方法能在几秒内完成,与之前需要数小时的2D Diffusion升维方法形成鲜明对比。此外,视频生成模型的结合为3D物体生成提供了新的思路,尤其是在4D物体生成领域发挥了重要作用。
Transformer的前向计算也被用于直接学习图像到三维表示的映射,如Adobe的LRM系列工作。材质建模方面,研究者开始关注PBR材质的生成,而不仅仅是表面颜色。同时,研究范围从物体级别扩展到室内、室外乃至城市级别的大规模场景生成。组合式生成允许每个小物体或部件有独立的三维表示,提高了编辑和重组的灵活性。
另一个重要方向是4D动态场景生成,它从3D生成迁移而来,提供了更大的发展空间。尽管3D生成领域竞争激烈,同质化问题日益严重,但4D生成的相关研究仍具有潜力。
为了跟进这些进展,研究者可以参考一系列资源,包括最新的综述、Github awesome系列和自媒体。例如,Shap-E、One-2-3-45++、Text-to-3D Generation等项目均展示了3D生成领域的新动向。同时,引入几何先验、大重建模型(LRM)、结合视频生成模型、PBR材质的生成、数字人/衣服生成、室内场景生成、室外大场景生成等也是当前研究的热点。
这些进展不仅推动了3D生成技术的发展,也为未来的研究和应用开辟了新的可能性。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台