今日应用
今日话题
CVPR 2024 | 跳舞时飞扬的裙摆，AI也能高度还原了，南洋理工提出动态人体渲染新范式
重点标签 tag1、人体重建、tag2、动态渲染、tag3、运动物理建模、tag4、外观建模、tag5、南洋理工大学
文章摘要
摘要：
新加坡南洋理工大学 S-Lab 团队提出了一种运动—外观联合学习的动态人体重建新范式，通过基于人体表面的三平面运动表征（surface-based triplane），将运动物理建模和外观建模统一在一个框架中，以提升动态人体渲染质量。该方法特别关注衣服的附属运动和褶皱，能够从快速运动的视频（如跳舞）中学习动态人体重建，并渲染运动相关的阴影。在渲染效率上，该方法比三维体素渲染方法快 9 倍，LPIPS 图像质量提高约 19 个百分点。
方法概览：
1. 运动建模：SurMo 提出基于人体表面流形场的四维（XYZ-T）运动建模，通过人体表面的三平面来表征运动。
2. 运动物理解码器：根据当前运动特征预测下一帧运动状态，实现运动特征的连续性建模。
3. 外观解码：通过混合体素—纹理神经渲染方式实现四维外观解码，渲染三维自由视点视频。
实验结果：
– 在 3 个数据集上进行评估，包括 ZJU-MoCap、AIST++ 和 MPII-RRDC。
– 新视点时序渲染：SurMo 能够对运动轨迹建模，生成随时间变化的动态效果。
– 渲染运动相关的阴影及衣服附属运动：SurMo 能够恢复与运动相关的阴影和衣服附属运动，而对比方法无法实现。
– 渲染快速运动的人体：SurMo 能够从快速运动的视频中渲染人体，并恢复与运动相关的衣服褶皱细节。
– 消融实验：研究了人体表面运动建模和动力学学习的效果，证明了 Surface-based triplane 在训练过程中的收敛速度和在衣服褶皱细节、自遮挡上的优势。
技术专栏和资源：
– 提供了多模态大模型、Tranformer 系列、ICCV2023 论文解读等技术专栏。
– 极市平台提供了 100+ 深度学习各方向资源整理。
获取更多技术干货：
– 点击阅读原文进入 CV 社区，了解最新技术动态和交流。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
