CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式

AI最新资讯1个月前发布 tree
17 0 0

今日应用


今日话题


CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式
CVPR 2024 | 跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式
 

重点标签 tag1人体重建tag2动态渲染tag3运动物理建模tag4外观建模tag5南洋理工大学

文章摘要


摘要:
新加坡南洋理工大学 S-Lab 团队提出了一种运动—外观联合学习的动态人体重建新范式,通过基于人体表面的三平面运动表征(surface-based triplane),将运动物理建模外观建模统一在一个框架中,以提升动态人体渲染质量。该方法特别关注衣服的附属运动和褶皱,能够从快速运动的视频(如跳舞)中学习动态人体重建,并渲染运动相关的阴影。在渲染效率上,该方法比三维体素渲染方法快 9 倍,LPIPS 图像质量提高约 19 个百分点。

方法概览:
1. 运动建模:SurMo 提出基于人体表面流形场的四维(XYZ-T)运动建模,通过人体表面的三平面来表征运动。
2. 运动物理解码器:根据当前运动特征预测下一帧运动状态,实现运动特征的连续性建模。
3. 外观解码:通过混合体素—纹理神经渲染方式实现四维外观解码,渲染三维自由视点视频。

实验结果:
– 在 3 个数据集上进行评估,包括 ZJU-MoCap、AIST++ 和 MPII-RRDC。
新视点时序渲染:SurMo 能够对运动轨迹建模,生成随时间变化的动态效果。
渲染运动相关的阴影及衣服附属运动:SurMo 能够恢复与运动相关的阴影和衣服附属运动,而对比方法无法实现。
渲染快速运动的人体:SurMo 能够从快速运动的视频中渲染人体,并恢复与运动相关的衣服褶皱细节。
消融实验:研究了人体表面运动建模和动力学学习的效果,证明了 Surface-based triplane 在训练过程中的收敛速度和在衣服褶皱细节、自遮挡上的优势。

技术专栏和资源:
– 提供了多模态大模型、Tranformer 系列、ICCV2023 论文解读等技术专栏。
– 极市平台提供了 100+ 深度学习各方向资源整理。

获取更多技术干货:
– 点击阅读原文进入 CV 社区,了解最新技术动态和交流。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...