加速扩散模型，最快1步生成SOTA级图片，字节Hyper-SD开源了

今日应用

逗哥配音神器

逗哥配音是一款500w+达人热推的的AI配音软件，独有的AI智能配音技术,更专业,更完美贴近真人配音。内置丰富的短视频创作工具，文案提取、人声分离等短视频必备功能，逗哥配音是你短视频创作不二的选择！

今日话题

加速扩散模型，最快1步生成SOTA级图片，字节Hyper-SD开源了

 

重点标签 扩散模型、图像生成、字节跳动、Hyper-SD、加速算法

文章摘要

摘要：
字节跳动技术团队提出了一种名为Hyper-SD的新型扩散模型蒸馏框架，该框架结合了轨迹保持蒸馏和轨迹重构蒸馏两种策略的优点，旨在压缩去噪步数的同时保持接近无损的性能。与现有加速算法相比，Hyper-SD在图像生成性能上取得了显著的加速效果，实现了SOTA级别的性能。此外，Hyper-SD还通过人类反馈学习和变分分数蒸馏进一步提升了模型在极端低步数下的潜力。

引言：
现有的扩散模型加速方法分为轨迹保持蒸馏和轨迹重构蒸馏两大类，但都存在一定的局限性。Hyper-SD通过轨迹分段一致性蒸馏解决了这些问题，并通过人类反馈学习和分数蒸馏进一步提升了模型性能。

方法：
1. 轨迹分段一致性蒸馏：将整个时间步范围划分为多段，逐步执行分段一致模型蒸馏，以提高训练效果。
2. 人类反馈学习：利用人类审美偏好和视觉感知模型的反馈来提高加速模型的生成质量。
3. 一步生成强化：通过优化的分布匹配蒸馏技术来提升模型的一步生成效果。

实验：
Hyper-SD在SD1.5和SDXL两种架构上实现了SOTA级别的图像生成性能，并且能够用一个模型实现不同低步数的推理。用户研究也表明了Hyper-SD的优越性。

总结：
Hyper-SD是一个统一的扩散模型加速框架，通过轨迹分段一致性蒸馏和人类反馈学习，显著提升了扩散模型在低步数情况下的生成能力。论文还开源了相关的Lora插件和模型，以推动生成式AI社区的发展。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心