今日应用
今日话题
CVPR 2024｜生成不了光线极强的图片？微信视觉团队有效解决扩散模型奇点问题
重点标签 扩散模型、奇点问题、图像生成、SingDiffusion、CVPR 2024
文章摘要
微信视觉团队与中山大学合作，针对扩散模型中的奇点问题提出了一个即插即用的方法SingDiffusion，有效解决了初始时刻的采样问题，显著提升了现有扩散模型的生成能力。该研究成果已在CVPR 2024会议上发表。扩散模型在多模态内容生成任务中取得了显著的成功，但理论上存在未定义的奇点问题，导致生成图像质量受到影响。研究团队从理论和实践两个方面探究了扩散模型中的奇点问题，提出了包含奇点时刻逆过程近似高斯分布的误差上界，并得出了两个重要结论：1）t=1 处的奇点可以通过求取极限转化为可去奇点；2）t=0 处的奇点是扩散模型的固有特性，不需要规避。通过大量实验验证，SingDiffusion 模块能够显著提升生成质量，特别是在应用于 Stable Diffusion1.5 后，图像质量提升了 33%。
逆过程的高斯特性是研究扩散模型奇点问题的关键。研究团队首先定义了扩散模型的训练样本分布，并推导出正向过程和逆过程的概率密度。为了验证逆过程满足高斯特性，研究提出了新的命题，证明了包含奇点时刻的逆过程全过程都符合高斯特性。
奇点时刻的采样是解决平均灰度问题的关键。研究团队提出了在 t=1 时刻使用「x – 预测」方法来解决奇点处的采样问题，并指出 t=0 处的奇点是扩散模型的固有特性，不需要规避。
SingDiffusion 模块是一个即插即用的方法，通过拟合标准高斯分布与实际数据分布之间的转换来弥补差距，从而解决平均灰度问题。该模块可以无缝应用到现有的扩散模型中，并且能够显著提升生成质量。
实验结果表明，SingDiffusion 在解决平均灰度问题方面具有显著效果，能够生成符合输入文字描述亮度的图像。此外，该方法在 COCO 数据集上的测试结果也表明，所提出的方法能够显著降低生成图像的 FID，并提升 CLIP 指标。该方法还能够无缝地应用到预训练的 ControlNet 模型上，有效解决平均灰度问题。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
相关文章
