今日应用
今日话题
Tunnel Try-on: 阿里最新视频试衣生成算法
重点标签 Tunnel Try-on、视频虚拟试衣、华中科技大学、阿里巴巴、人工智能
文章摘要
摘要：
Tunnel Try-on 是由华中科技大学与阿里巴巴合作开发的第一个基于 Diffusion 的视频虚拟试衣模型。该模型通过焦点隧道、隧道增强和环境编码等技术，能够适应真实场景中多样的人物和相机相对运动关系，同时保留服装的细节并保持视频时序的连贯性。Tunnel Try-on 在多类型上装和下装试衣中展现出惊艳的效果，适用于广泛的服饰类目，为视频试衣的规模化商业应用奠定了基础。
项目背景：
视频虚拟试衣技术旨在将服装穿在视频序列中的目标人物身上，同时保留服装的外观和人物的动作。这一技术对于消费者而言提供了更真实的交互式体验，对于商家则能降低展示视频的拍摄成本并提高视频质量。
技术亮点：
1. 焦点隧道（Focus Tunnel）：Tunnel Try-on 通过提取焦点隧道来放大服装相关区域，以更好地保留服装的细节。
2. 卡尔曼滤波：利用卡尔曼滤波平滑过渡 Focus Tunnel，提高生成视频的连续性。
3. 环境编码器：设计环境编码器提取隧道外的视频上下文信息，辅助生成更自然的背景。
方法论：
– 图像试衣基线：由 Main U-Net 和 Ref U-Net 组成，用于提取和保持服装特征。
– 适应视频试衣：在 Main U-Net 每个阶段后插入时间注意力，确保帧间的平滑过渡。
– 焦点隧道设计：通过人体姿态图确定试衣区域，提取并放大焦点隧道。
– 焦点隧道增强：使用卡尔曼滤波器平滑隧道，并嵌入隧道信息到时间注意力中。
– 环境特征编码：通过 CLIP 图像编码器和线性映射层捕获全局上下文信息。
实验与展望：
Tunnel Try-on 在真实场景和不同运动场景下的视频试衣能力表现出色，能够适应人物大小变化、位置变化和相机视角变化。未来，研究团队计划进一步提高生成结果的稳定性，并从多个维度提升视频质量，以提供更好的穿搭体验。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
