今日应用
今日话题
预训练无条件扩散生成模型的 training-free 条件生成食谱（二）
文章摘要
极市导读
本文深入探讨了无需额外训练的条件生成方法，这些方法主要利用预训练的无条件扩散模型，并通过调整采样策略来生成与给定条件相符的图像。文章重点讨论了几种无需训练的引导技术，并解释了如何通过调整采样过程中的条件分数来实现条件生成。这些方法旨在简化生成过程，提高效率，同时保持图像质量。
前言
文章首先介绍了扩散模型的training-free条件生成方法，其中guidance技术因其简单的使用方式和直观的理解形式而备受关注。文章详细介绍了CG、SDG和CFG这三种技术，尽管它们需要额外的训练，但它们为后续介绍的training-free方法提供了重要的理论基础。
Guidance三巨头
– CG（Classifier Guidance）：通过在采样均值上添加偏移项，利用分类器梯度来引导生成过程。CG需要额外训练一个分类器来对噪声图像进行分类，这是其最大的局限性。
– SDG（Semantic Diffusion Guidance）：在CG的基础上，将条件项拓展至各种语义条件，支持更广泛的场景，如文生图、图生图等。SDG通过引入不同类型的条件函数梯度来实现引导。
– CFG（Classifier-Free Guidance）：消除了对分类器的依赖，通过条件分数与非条件分数的差值来实现引导。CFG需要重新训练扩散模型，以学会估计含条件的噪声。
流形思想
文章进一步探讨了流形假设在条件生成方法中的应用。流形假设认为高维数据通常集中在低维子空间中。基于这一思想，文章介绍了MCG、DPS和MPGD这三种方法，它们通过在采样过程中维持数据在其流形中，从而生成真实感更强的图像。
– MCG（Manifold Constraint Guidance）：通过引入流形约束的校正项，避免数据偏离流形，从而改进逆问题的解决效果。
– DPS（Diffusion Posterior Sampling）：在MCG的基础上去掉了projection-based correction，使得DPS能够解决各种形式的含观测噪声的逆问题。
– MPGD（Manifold Preserving Guided Diffusion）：将引导项投影到低维流形上，避免数据在采样过程中偏离流形。
总结
本文详细介绍了多种无需额外训练的条件生成方法，这些方法通过调整采样策略和利用流形假设，实现了高效且高质量的图像生成。尽管每种方法都有其局限性，但它们为未来条件生成技术的发展提供了宝贵的理论和实践基础。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
