ICLR2024|姿势引导 | 一致性 | PCDMs:多阶段的高保真高质量人像生成

AI最新资讯5个月前发布 tree
51 0 0

今日应用


今日话题


ICLR2024|姿势引导 | 一致性 | PCDMs:多阶段的高保真高质量人像生成
ICLR2024|姿势引导 | 一致性 | PCDMs:多阶段的高保真高质量人像生成
 

重点标签 渐进式条件扩散模型人体图像合成三阶段流程高质量图像细节一致性

文章摘要


本文介绍了一种名为渐进式条件扩散模型(PCDM)的新技术,旨在解决人体图像合成中源图像与目标图像位姿不一致的问题。PCDM通过三个阶段逐步缩小目标姿态和源姿态下人物图像之间的差异,最终生成高质量和高保真的合成图像。

01 导言

在AIGC领域,保持人脸、人体和场景等的高一致性至关重要,这在视频生成、虚拟试衣和写真套装系列等实际应用中尤为明显。扩散模型在人体图像合成方面展现出巨大潜力,但位姿不一致的问题仍是一个挑战。PCDM通过三个阶段的工作流程来解决这一问题,每个阶段都针对特定的任务,以实现最终的高质量合成图像。

02 方法

PCDM包含三个条件扩散模型:先验条件扩散模型、Inpaint条件扩散模型和细化条件扩散模型。这三个模型共同工作,逐步弥合目标和源姿势下的人物图像之间的差距。

#### 2.1 先验条件扩散模型
第一阶段使用先验条件扩散模型预测目标图像的全局特征。该模型利用CLIP图像编码器提取的图像嵌入,通过对比学习捕获丰富的图像内容和风格信息,以指导目标图像合成。

#### 2.2 Inpainting条件扩散模型
第二阶段,Inpaint条件扩散模型建立源与目标之间的密集对应关系,将未对齐的图像生成任务转化为对齐的图像生成任务。该模型使用姿态编码器提取姿态特征,并利用DINOv2作为图像编码器提取源图像的细粒度特征。

#### 2.3 细化条件扩散模型
第三阶段,细化条件扩散模型以前一阶段生成的粗粒度图像为条件,提高合成图像的质量和保真度。该模型通过交叉注意机制引导纹理修复,增强细节一致性

03 实验结果

文章提供了实验结果,展示了PCDM在具有挑战性场景下的一致性和真实感。通过三个阶段的逐步优化,PCDM能够生成高质量的合成图像,证明了其在人体图像合成领域的有效性和潜力。

文章还提供了技术专栏和极视角动态,为读者提供了更多的技术干货和行业动态。通过点击阅读原文,读者可以进入CV社区,获取更多的技术资源和交流机会。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...