今日应用
今日话题
CVPR 2024｜感知模型+生成模型=SOTA！清华最新提出协同框架DetDiffusion
重点标签 DetDiffusion、感知模型、生成模型、图像生成、目标检测
文章摘要
摘要：
DetDiffusion是一种新颖的架构，它结合了生成模型和感知模型的优势，以提高图像生成的质量和目标检测的可训练性。通过整合检测器的感知性到几何感知模型中，并使用P.A. Attr作为条件输入与P.A.损失作为监督，DetDiffusion能够生成针对检测器定制的图像。这种方法在目标检测任务中表现出色，特别是在处理长尾数据生成挑战时。DetDiffusion在COCO-Stuff数据集上达到了31.2的mAP，并通过策略性地使用Perception-Aware属性（P.A. Attr），显著提高了下游检测性能。
介绍：
当前的感知模型依赖于资源密集型的数据集，而DetDiffusion通过利用最新的扩散模型和合成数据，提供了一种创新性的解决方案。该方法首次将生成模型和感知模型结合起来，解决了为感知模型生成有效数据的挑战。DetDiffusion引入了感知损失（P.A.损失），并通过提取和利用在生成过程中的P.A.属性来定制数据增强，从而提高了特定感知模型的性能。
方法：
DetDiffusion框架基于潜在扩散模型（LDM），特别是Stable Diffusion。它引入了Perception-Aware属性（P.A. Attr）作为条件输入，并设计了Perception-Aware损失（P.A. loss）作为监督。P.A. Attr通过预训练的检测器生成，并作为特殊的标注辅助扩散模型。P.A.损失利用UNet模型中的特征图来促进更细致的图像重构。
实验：
实验在COCO-Thing-Stuff基准数据集上进行，评估了DetDiffusion在图像生成质量和目标检测可训练性方面的表现。结果显示，DetDiffusion在布局引导生成方面建立了新的SOTA，并显著增强了检测器的训练。特别是，通过使用P.A. Attr，DetDiffusion在COCO数据集上的mAP提高了0.9。
结论：
DetDiffusion通过协同生成模型和感知模型，显著提高了图像生成的质量和目标检测的可训练性。这一方法为受控图像生成领域带来了重大进步，并展示了在精确检测属性至关重要的情况下的技术优越性。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
