CVPR 2024|生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题

AI最新资讯2个月前发布 tree
31 0 0

今日应用


今日话题


CVPR 2024|生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
CVPR 2024|生成不了光线极强的图片?微信视觉团队有效解决扩散模型奇点问题
 

重点标签 扩散模型奇点问题图像生成SingDiffusionCVPR 2024

文章摘要


微信视觉团队与中山大学合作,针对扩散模型中的奇点问题提出了一个即插即用的方法SingDiffusion,有效解决了初始时刻的采样问题,显著提升了现有扩散模型的生成能力。该研究成果已在CVPR 2024会议上发表。扩散模型在多模态内容生成任务中取得了显著的成功,但理论上存在未定义的奇点问题,导致生成图像质量受到影响。研究团队从理论和实践两个方面探究了扩散模型中的奇点问题,提出了包含奇点时刻逆过程近似高斯分布的误差上界,并得出了两个重要结论:1)t=1 处的奇点可以通过求取极限转化为可去奇点;2)t=0 处的奇点是扩散模型的固有特性,不需要规避。通过大量实验验证,SingDiffusion 模块能够显著提升生成质量,特别是在应用于 Stable Diffusion1.5 后,图像质量提升了 33%。

逆过程的高斯特性是研究扩散模型奇点问题的关键。研究团队首先定义了扩散模型的训练样本分布,并推导出正向过程和逆过程的概率密度。为了验证逆过程满足高斯特性,研究提出了新的命题,证明了包含奇点时刻的逆过程全过程都符合高斯特性。

奇点时刻的采样是解决平均灰度问题的关键。研究团队提出了在 t=1 时刻使用「x – 预测」方法来解决奇点处的采样问题,并指出 t=0 处的奇点是扩散模型的固有特性,不需要规避。

SingDiffusion 模块是一个即插即用的方法,通过拟合标准高斯分布与实际数据分布之间的转换来弥补差距,从而解决平均灰度问题。该模块可以无缝应用到现有的扩散模型中,并且能够显著提升生成质量。

实验结果表明,SingDiffusion 在解决平均灰度问题方面具有显著效果,能够生成符合输入文字描述亮度的图像。此外,该方法在 COCO 数据集上的测试结果也表明,所提出的方法能够显著降低生成图像的 FID,并提升 CLIP 指标。该方法还能够无缝地应用到预训练的 ControlNet 模型上,有效解决平均灰度问题。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...