一文回顾2024年2D/3D生成方向工作进展

AI最新资讯1个月前发布 tree
16 0 0

今日应用


今日话题


一文回顾2024年2D/3D生成方向工作进展
一文回顾2024年2D/3D生成方向工作进展
 

重点标签 3D生成扩散模型DreamFusion视频生成材质建模Transformer4D动态场景数字人室内场景室外场景

文章摘要


摘要总结:

2023年末至2024年间,3D生成领域经历了显著的技术进步。在这一时期,DreamFusion等项目的成功推动了基于2D扩散模型的3D生成技术发展。这些技术通过优化3D模型,虽然计算时间长,但展示了生成质量的显著提升。例如,Magic3D采用了两阶段coarse-to-fine策略,而Zero123则展示了微调扩散模型以实现新视角生成的能力。

进入2024年,3D生成领域出现了几个关键趋势。首先,高效三维表征的使用,特别是3D高斯表示,开始替代NeRF,成为研究的热点。其次,生成效率得到极大提升,现代3D生成方法能在几秒内完成,与之前需要数小时的2D Diffusion升维方法形成鲜明对比。此外,视频生成模型的结合为3D物体生成提供了新的思路,尤其是在4D物体生成领域发挥了重要作用。

Transformer的前向计算也被用于直接学习图像到三维表示的映射,如Adobe的LRM系列工作。材质建模方面,研究者开始关注PBR材质的生成,而不仅仅是表面颜色。同时,研究范围从物体级别扩展到室内、室外乃至城市级别的大规模场景生成组合式生成允许每个小物体或部件有独立的三维表示,提高了编辑和重组的灵活性。

另一个重要方向是4D动态场景生成,它从3D生成迁移而来,提供了更大的发展空间。尽管3D生成领域竞争激烈,同质化问题日益严重,但4D生成的相关研究仍具有潜力。

为了跟进这些进展,研究者可以参考一系列资源,包括最新的综述Github awesome系列自媒体。例如,Shap-EOne-2-3-45++Text-to-3D Generation等项目均展示了3D生成领域的新动向。同时,引入几何先验大重建模型(LRM)结合视频生成模型PBR材质的生成数字人/衣服生成室内场景生成室外大场景生成等也是当前研究的热点。

这些进展不仅推动了3D生成技术的发展,也为未来的研究和应用开辟了新的可能性。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...