Tunnel Try-on: 阿里最新视频试衣生成算法

AI最新资讯2周前发布 tree
14 0 0

今日应用


今日话题


Tunnel Try-on: 阿里最新视频试衣生成算法
Tunnel Try-on: 阿里最新视频试衣生成算法
 

重点标签 Tunnel Try-on视频虚拟试衣华中科技大学阿里巴巴人工智能

文章摘要


摘要:
Tunnel Try-on 是由华中科技大学阿里巴巴合作开发的第一个基于 Diffusion 的视频虚拟试衣模型。该模型通过焦点隧道、隧道增强和环境编码等技术,能够适应真实场景中多样的人物和相机相对运动关系,同时保留服装的细节并保持视频时序的连贯性。Tunnel Try-on 在多类型上装和下装试衣中展现出惊艳的效果,适用于广泛的服饰类目,为视频试衣的规模化商业应用奠定了基础。

项目背景:
视频虚拟试衣技术旨在将服装穿在视频序列中的目标人物身上,同时保留服装的外观和人物的动作。这一技术对于消费者而言提供了更真实的交互式体验,对于商家则能降低展示视频的拍摄成本并提高视频质量。

技术亮点:
1. 焦点隧道(Focus Tunnel):Tunnel Try-on 通过提取焦点隧道来放大服装相关区域,以更好地保留服装的细节。
2. 卡尔曼滤波:利用卡尔曼滤波平滑过渡 Focus Tunnel,提高生成视频的连续性。
3. 环境编码器:设计环境编码器提取隧道外的视频上下文信息,辅助生成更自然的背景。

方法论:
图像试衣基线:由 Main U-Net 和 Ref U-Net 组成,用于提取和保持服装特征。
适应视频试衣:在 Main U-Net 每个阶段后插入时间注意力,确保帧间的平滑过渡。
焦点隧道设计:通过人体姿态图确定试衣区域,提取并放大焦点隧道。
焦点隧道增强:使用卡尔曼滤波器平滑隧道,并嵌入隧道信息到时间注意力中。
环境特征编码:通过 CLIP 图像编码器和线性映射层捕获全局上下文信息。

实验与展望:
Tunnel Try-on 在真实场景和不同运动场景下的视频试衣能力表现出色,能够适应人物大小变化、位置变化和相机视角变化。未来,研究团队计划进一步提高生成结果的稳定性,并从多个维度提升视频质量,以提供更好的穿搭体验。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...