为Stable Diffusion模型瘦身并达到SOTA!LAPTOP-Diff:剪枝蒸馏新高度(OPPO)

AI最新资讯4周前发布 tree
25 0 0

今日应用


今日话题


Stable Diffusion模型瘦身并达到SOTA!LAPTOP-Diff:剪枝蒸馏新高度(OPPO)
为Stable Diffusion模型瘦身并达到SOTA!LAPTOP-Diff:剪枝蒸馏新高度(OPPO)
 

重点标签 LAPTOP-Diff层剪枝归一化蒸馏扩散模型Stable Diffusion模型

文章摘要


步骤2:撰写详细、分段的摘要总结
本文介绍了一种用于压缩扩散模型层剪枝归一化蒸馏方法(LAPTOP-Diff),旨在提高Stable Diffusion模型(SDM)的高效架构设计和结构剪枝的自动化、可扩展性和性能。在AIGC时代,对低成本甚至设备端应用扩散模型的需求日益增加,但SDM的内存消耗和延迟限制了其在个人计算机和移动设备上的部署。

为了解决这一问题,研究者们提出了多种方法,包括降噪步骤的减少、高效的架构设计、结构剪枝、量化和硬件优化。其中,高效的架构设计和结构剪枝是两个关键方向。然而,现有的手工设计的层移除方法效率低下,缺乏可扩展性和泛化性。LAPTOP-Diff通过引入层剪枝方法自动压缩SDM的U-Net,并提出了一个有效的一次性剪枝准则,超越了其他层剪枝和手工设计的层移除方法。

此外,LAPTOP-Diff还提出了归一化特征蒸馏用于重新训练,以缓解不平衡问题。实验结果表明,即使在剪枝比率为50%时,LAPTOP-Diff压缩的SDXL和SDM-v1.5的U-Net在PickScore上仅下降了最小的4.0%,而比较方法的最小PickScore下降为8.2%。

文章还探讨了层剪枝在SDMs上的应用,发现一次性层剪枝标准的有效性来自其良好的可加性属性。通过归一化特征蒸馏,研究者们成功缓解了先前基于蒸馏的重新训练方法中的不平衡问题。最终,LAPTOP-Diff在不同SDMs和剪枝比率下超越了基于层移除的高效架构设计方法,实现了更好的网络性能。

LAPTOP-Diff的提出,为压缩扩散模型提供了一种新的有效方法,推动了SDM的高效架构设计和结构剪枝的发展,有望在低成本设备上实现更广泛的应用。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...