今日应用
今日话题
ICML’24|即插即用无需训练,几行代码提升Diffusion性能!DSG: 基于球面高斯约束引导的条件扩散模型
重点标签 条件扩散、Guidance方法、流形偏离、DSG、无需训练的条件扩散模型
文章摘要
本文介绍了上海科技大学YesAI Lab在ICML 2024上发表的关于条件扩散模型的研究工作《Guidance with Spherical Gaussian Constraint for Conditional Diffusion》。该研究旨在通过预训练的扩散模型实现无需训练的条件生成任务,由2023级研究生杨凌霄完成,石野教授指导。
摘要:提出了一种基于球形高斯约束的Guidance方法(DSG),通过优化问题将Guidance步长约束在中间数据流形内,允许使用更大的引导步长,并通过闭式解实现无缝插入现有条件扩散方法,显著改善模型性能。
背景:介绍了无需训练的条件扩散模型,通过引入可微损失函数实现条件生成。
流形偏离:分析了先前方法中生成样本质量损失的原因,指出线性流形假设和Jensen Gap导致流形偏离。
DSG方法:提出了DSG,一种在中间数据流形高置信区间内进行Guidance的优化方法,通过球面高斯约束简化优化问题,得到闭式解,实现即插即用。
实验结果:验证了DSG在多个条件生成任务上的性能,包括去噪、超分辨率、风格引导等,DSG在样本质量和时间效率方面具有优越性和适应性。
总结:DSG解决了条件扩散模型中的流形偏移问题,通过优化限制引导步骤在中间数据流形内,使用更大的引导步长,提供了封闭形式的解决方案,实现即插即用,显著提高了性能。
此外,文章还提供了技术专栏、技术综述等资源链接,以及极市平台的介绍和联系方式。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...