CVPR 2024|感知模型+生成模型=SOTA!清华最新提出协同框架DetDiffusion

AI最新资讯2个月前发布 tree
65 0 0

今日应用


今日话题


CVPR 2024|感知模型+生成模型=SOTA!清华最新提出协同框架DetDiffusion
CVPR 2024|感知模型+生成模型=SOTA!清华最新提出协同框架DetDiffusion
 

重点标签 DetDiffusion感知模型生成模型图像生成目标检测

文章摘要


摘要:
DetDiffusion是一种新颖的架构,它结合了生成模型感知模型的优势,以提高图像生成的质量和目标检测的可训练性。通过整合检测器的感知性到几何感知模型中,并使用P.A. Attr作为条件输入与P.A.损失作为监督,DetDiffusion能够生成针对检测器定制的图像。这种方法在目标检测任务中表现出色,特别是在处理长尾数据生成挑战时。DetDiffusion在COCO-Stuff数据集上达到了31.2的mAP,并通过策略性地使用Perception-Aware属性(P.A. Attr),显著提高了下游检测性能。

介绍:
当前的感知模型依赖于资源密集型的数据集,而DetDiffusion通过利用最新的扩散模型和合成数据,提供了一种创新性的解决方案。该方法首次将生成模型和感知模型结合起来,解决了为感知模型生成有效数据的挑战。DetDiffusion引入了感知损失(P.A.损失),并通过提取和利用在生成过程中的P.A.属性来定制数据增强,从而提高了特定感知模型的性能。

方法:
DetDiffusion框架基于潜在扩散模型(LDM),特别是Stable Diffusion。它引入了Perception-Aware属性(P.A. Attr)作为条件输入,并设计了Perception-Aware损失(P.A. loss)作为监督。P.A. Attr通过预训练的检测器生成,并作为特殊的标注辅助扩散模型。P.A.损失利用UNet模型中的特征图来促进更细致的图像重构。

实验:
实验在COCO-Thing-Stuff基准数据集上进行,评估了DetDiffusion在图像生成质量和目标检测可训练性方面的表现。结果显示,DetDiffusion在布局引导生成方面建立了新的SOTA,并显著增强了检测器的训练。特别是,通过使用P.A. Attr,DetDiffusion在COCO数据集上的mAP提高了0.9。

结论:
DetDiffusion通过协同生成模型和感知模型,显著提高了图像生成的质量和目标检测的可训练性。这一方法为受控图像生成领域带来了重大进步,并展示了在精确检测属性至关重要的情况下的技术优越性。

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...