今日应用
今日话题
无需训练,这个新方法实现了生成图像尺寸、分辨率自由
重点标签 FouriScale、图像生成、扩散模型、分辨率、结构一致性
文章摘要
FouriScale方法介绍
1. 空洞卷积保证跨分辨率下的结构一致性:通过在U-Net结构中的卷积层引入空洞卷积操作,实现不同分辨率下的结构一致性。
2. 低通滤波保证跨分辨率下的尺度一致性:引入低通滤波操作来过滤掉高频分量,以去除空间下采样后的频率混叠问题。
3. 适应于任意尺寸的图像生成:采用“填充然后裁剪”的策略,使FouriScale适应于任意尺寸的图像生成。
4. FouriScale引导:引入额外的条件生成估计,并利用FouriScale输出的注意力分数替换,以保证细节不丢失并提高图像质量。
实验结果
1. 定量试验结果:FouriScale在各个预训练模型和不同分辨率下都获得了最优的结果。
2. 定性试验结果:FouriScale在各个预训练模型和不同分辨率下都能够保证图像生成质量与一致的结构。
结论
FouriScale方法在生成高分辨率图像方面取得了显著提升,解决了模式重复和人工伪影问题。该方法无需任何离线预计算,具有良好的兼容性和可扩展性。通过定量和定性实验验证了FouriScale的有效性,为文本到图像生成领域带来了新的突破。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...