超分辨图像无限生成!清华甩出Inf-DiT:Diffusion Transformer 任意分辨率上采样

AI最新资讯4个月前发布 tree
56 0 0

今日应用


今日话题


超分辨图像无限生成!清华甩出Inf-DiT:Diffusion Transformer 任意分辨率上采样
超分辨图像无限生成!清华甩出Inf-DiT:Diffusion Transformer 任意分辨率上采样
 

重点标签 Inf-DiT超高分辨率图像单向块注意力Transformer显存消耗

文章摘要


Inf-DiT的核心优势在于其创新的单向块注意力机制,该机制允许模型在推理过程中自适应地调整显存开销,并有效处理全局依赖关系。通过DiT架构和逐步上采样的方法,Inf-DiT能够对不同形状和分辨率的图像进行高质量的上采样。在机器和人工评估中,Inf-DiT均展现出了最先进的性能。

此外,Inf-DiT的设计还包括多种技术来增强局部和全局一致性,以及提供灵活的文本控制能力。例如,利用预训练的CLIP图像编码器提取的全局语义嵌入,以及Nearby LR Cross-Attention机制,都有助于提升模型的生成质量和细节表现。

在实验部分,Inf-DiT在HPDV2和DIV2K数据集上进行了评估,结果显示其在超高分辨率图像生成任务中取得了优异的成绩。与传统的高分辨率生成方法和超分辨率技术相比,Inf-DiT在多个评估指标上均表现出色,包括FID、PSNR和SSIM等。人类评估结果也证实了Inf-DiT在细节真实性、全局连贯性和与低分辨率输入一致性方面的优越性。

Inf-DiT的提出,不仅为超高分辨率图像生成提供了一种有效的解决方案,也为未来在显存受限条件下进行大规模图像生成任务提供了新的思路。随着技术的不断进步,Inf-DiT有望在广告、海报设计、壁纸创建等领域发挥重要作用。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...