ECCV’24|OMG:已开源,遮挡友好的个性化多概念生成新框架

AI最新资讯2个月前发布 tree
23 0 0

今日应用


今日话题


ECCV’24|OMG:已开源,遮挡友好的个性化多概念生成新框架
ECCV’24|OMG:已开源,遮挡友好的个性化多概念生成新框架
 

重点标签 OMG框架个性化生成多概念遮挡问题身份退化

文章摘要


本文介绍了一种名为OMG的个性化生成框架,旨在解决多概念个性化生成中的遮挡问题身份退化问题。OMG框架通过两阶段采样方法,第一阶段负责布局生成和视觉理解信息收集,第二阶段则利用收集到的信息和概念噪声混合方法进行个性化生成。实验结果表明,OMG在多概念个性化方面展现出卓越的性能。

OMG框架的核心方法包括:
1. 一阶段:视觉理解信息的准备 – 使用文本提示输入T2I模型生成非个性化图像,并通过视觉理解技术确定角色掩码位置。
2. 二阶段:多概念个性化去噪 – 利用第一阶段的信息,通过概念噪声混合技术将特定概念ID注入图像特点区域,同时使用第一阶段的注意力图保持遮挡布局。
3. 概念噪声混合的起始步长 – 不同时间步开启概念噪声混合对生成结果有显著影响,较早步骤中前景和背景光照不协调,随着时间步数增加,光照趋于一致。

实验部分展示了OMG在单概念和多概念生成上的实验结果,并通过消融实验验证了方法的有效性。结论指出,OMG框架成功解决了多概念生成中的遮挡问题,并通过概念噪声混合缓解了身份退化问题,无需额外训练即可与单概念定制模型结合,具有广泛的适用性和高效率。

此外,文章还提供了相关资源链接,包括论文、代码、Demo和项目页面,以及引用信息,方便读者进一步了解和研究OMG框架。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...