今日应用
今日话题
ECCV’24|比DragDiffusion快100倍!港大&牛津提出RegionDrag:快准好的图像编辑方法!
重点标签 RegionDrag、图像编辑、基于区域、复制粘贴、性能优越
文章摘要
RegionDrag:一种高效的基于区域的图像编辑方法
RegionDrag是一种创新的图像编辑技术,它通过基于区域的复制粘贴拖拽方法,解决了传统基于点拖拽编辑中的局限性,如计算开销大和用户意图误解。该方法允许用户通过操作区和目标区的形式表达编辑指令,实现更精确的控制并减少模糊性。RegionDrag利用无梯度的复制粘贴操作,显著提高了编辑速度,同时引入了注意力交换技术增强编辑过程的稳定性。
编辑效果显著提升
RegionDrag的编辑过程包括两个主要步骤:首先复制操作区覆盖的潜在表示并存储自注意力特征,然后将复制的表示粘贴到目标位置,并在去噪过程中插入存储的自注意力特征。与传统基于点拖拽方法相比,RegionDrag在512×512分辨率的图像上完成编辑的时间少于2秒,比DragDiffusion快了100倍以上,同时保持了性能的优越性。
实验结果验证优势
实验结果显示,RegionDrag在速度、准确性和与用户意图的对齐方面均优于现有的基于点拖拽的方法。通过扩展现有的基于点拖拽数据集,添加了基于区域拖拽的指令,为基于区域的编辑方法提供了基准。RegionDrag在定量评估中使用LPIPS和平均距离作为指标,表现出在不同数据集上实现竞争性编辑结果的卓越性能,同时在效率方面也表现出色。
消融研究确认优势
消融研究进一步证明了RegionDrag的优势。通过在DragBench-DR数据集上进行测试,逐渐减少所选点的百分比,观察对平均距离指标的影响,结果表明稀疏点输入对输出的约束较弱,导致编辑结果不令人满意。这证实了采用基于区域的输入的好处。
结论
RegionDrag作为一种高效且有效的基于区域的编辑框架,通过复制和粘贴图像的潜在表示和自注意力特征,实现了单步编辑,提供了卓越的效率和优越的编辑性能。此外,基于现有数据集引入了两个新的基准测试,DragBench-SR和DragBench-DR,用于评估基于区域的编辑,实验结果一致证明了RegionDrag在效率和编辑性能上的卓越表现。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台