ECCV’24|比DragDiffusion快100倍!港大&牛津提出RegionDrag:快准好的图像编辑方法!

AI最新资讯2个月前发布 tree
25 0 0

今日应用


今日话题


ECCV’24|比DragDiffusion快100倍!港大&牛津提出RegionDrag:快准好的图像编辑方法!
ECCV’24|比DragDiffusion快100倍!港大&牛津提出RegionDrag:快准好的图像编辑方法!
 

重点标签 RegionDrag图像编辑基于区域复制粘贴性能优越

文章摘要


RegionDrag:一种高效的基于区域图像编辑方法

RegionDrag是一种创新的图像编辑技术,它通过基于区域复制粘贴拖拽方法,解决了传统基于点拖拽编辑中的局限性,如计算开销大和用户意图误解。该方法允许用户通过操作区和目标区的形式表达编辑指令,实现更精确的控制并减少模糊性。RegionDrag利用无梯度的复制粘贴操作,显著提高了编辑速度,同时引入了注意力交换技术增强编辑过程的稳定性。

编辑效果显著提升

RegionDrag的编辑过程包括两个主要步骤:首先复制操作区覆盖的潜在表示并存储自注意力特征,然后将复制的表示粘贴到目标位置,并在去噪过程中插入存储的自注意力特征。与传统基于点拖拽方法相比,RegionDrag在512×512分辨率的图像上完成编辑的时间少于2秒,比DragDiffusion快了100倍以上,同时保持了性能的优越性。

实验结果验证优势

实验结果显示,RegionDrag在速度、准确性和与用户意图的对齐方面均优于现有的基于点拖拽的方法。通过扩展现有的基于点拖拽数据集,添加了基于区域拖拽的指令,为基于区域的编辑方法提供了基准。RegionDrag在定量评估中使用LPIPS和平均距离作为指标,表现出在不同数据集上实现竞争性编辑结果的卓越性能,同时在效率方面也表现出色。

消融研究确认优势

消融研究进一步证明了RegionDrag的优势。通过在DragBench-DR数据集上进行测试,逐渐减少所选点的百分比,观察对平均距离指标的影响,结果表明稀疏点输入对输出的约束较弱,导致编辑结果不令人满意。这证实了采用基于区域的输入的好处。

结论

RegionDrag作为一种高效且有效的基于区域的编辑框架,通过复制和粘贴图像的潜在表示和自注意力特征,实现了单步编辑,提供了卓越的效率和优越的编辑性能。此外,基于现有数据集引入了两个新的基准测试,DragBench-SR和DragBench-DR,用于评估基于区域的编辑,实验结果一致证明了RegionDrag在效率和编辑性能上的卓越表现。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...