图片直接生成3D视频模型,开源Stable Video 3D来啦!

AI最新资讯2个月前发布 tree
49 0 0

今日应用


今日话题


图片直接生成3D视频模型,开源Stable Video 3D来啦!
图片直接生成3D视频模型,开源Stable Video 3D来啦!
 

重点标签 AIGC大模型3D视频Stable Video 3D技术重构

文章摘要


3月19日,专注于AIGC领域的stability.ai开源了Stable Video 3D(SV3D),这是一种从图像生成3D视频模型的技术。SV3D在多个方面实现了显著提升,包括生成质量、多视角、泛化能力等。SV3D有两个版本:SV3D_u支持单个图像生成轨道视频,而SV3D_p支持单个图像和轨道视图,可沿特定摄像机路径创建3D视频。

SV3D的核心模块基于Stable Video Diffusion(SVD)视频模型,通过技术重构,实现了像素级推理和显式相机姿态控制。SV3D还设计了静态和动态两种相机轨迹,以提高多视图一致性、细节还原和控制性。

为了提升3D模型的质量,SV3D采用了从“粗”到“细”的优化策略。粗优化阶段使用多视图渲染结果优化NeRF模型,细优化阶段则使用DMTet进行细节优化。实验数据显示,SV3D在多个评估指标上表现卓越,能生成更高分辨率、细节更丰富、多视角一致性更强的视频。

文章来源


原文地址: 点我阅读全文
原文作者: AIGC开放社区

© 版权声明

相关文章

暂无评论

暂无评论...