ICML’24|即插即用无需训练,几行代码提升Diffusion性能!DSG: 基于球面高斯约束引导的条件扩散模型

AI最新资讯1个月前发布 tree
52 0 0

今日应用


今日话题


ICML’24|即插即用无需训练,几行代码提升Diffusion性能!DSG: 基于球面高斯约束引导的条件扩散模型
ICML’24|即插即用无需训练,几行代码提升Diffusion性能!DSG: 基于球面高斯约束引导的条件扩散模型
 

重点标签 条件扩散Guidance方法流形偏离DSG无需训练的条件扩散模型

文章摘要


本文介绍了上海科技大学YesAI Lab在ICML 2024上发表的关于条件扩散模型的研究工作《Guidance with Spherical Gaussian Constraint for Conditional Diffusion》。该研究旨在通过预训练的扩散模型实现无需训练的条件生成任务,由2023级研究生杨凌霄完成,石野教授指导。

摘要:提出了一种基于球形高斯约束的Guidance方法DSG),通过优化问题将Guidance步长约束在中间数据流形内,允许使用更大的引导步长,并通过闭式解实现无缝插入现有条件扩散方法,显著改善模型性能。

背景:介绍了无需训练的条件扩散模型,通过引入可微损失函数实现条件生成。

流形偏离:分析了先前方法中生成样本质量损失的原因,指出线性流形假设和Jensen Gap导致流形偏离

DSG方法:提出了DSG,一种在中间数据流形高置信区间内进行Guidance的优化方法,通过球面高斯约束简化优化问题,得到闭式解,实现即插即用。

实验结果:验证了DSG在多个条件生成任务上的性能,包括去噪、超分辨率、风格引导等,DSG在样本质量和时间效率方面具有优越性和适应性。

总结:DSG解决了条件扩散模型中的流形偏移问题,通过优化限制引导步骤在中间数据流形内,使用更大的引导步长,提供了封闭形式的解决方案,实现即插即用,显著提高了性能。

此外,文章还提供了技术专栏、技术综述等资源链接,以及极市平台的介绍和联系方式。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...