TPAMI’24｜南洋理工发布视觉识别任务的大型视觉语言模型综述

今日应用

AI自动写论文

AIPaperPass，引领学术写作新潮流！免费千字大纲，5分钟生成3万字初稿，提供PPT答辩汇报、中英文知网参考文献等全方位服务。严格控制重复率，超过10%包退费。让AIPaperPass助您的研究之旅更上一层楼！

今日话题

TPAMI’24｜南洋理工发布视觉识别任务的大型视觉语言模型综述

 

重点标签 视觉识别、大型视觉语言模型、零样本预测

文章摘要

极市导读：本文全面综述了针对视觉识别任务的大型视觉语言模型的最新发展，探讨了其预训练方法、迁移学习和知识蒸馏技术，并提出了未来研究方向。

视觉识别是计算机视觉领域的核心技术，包括图像分类、目标检测和语义分割等任务。尽管深度学习为视觉识别带来了突破，但传统研究依赖昂贵的标注数据并需要为每个任务独立训练模型。大型视觉语言模型通过学习图像-文本对数据，实现零样本预测，简化了这一过程。

文章首先回顾了视觉识别技术的发展历程，介绍了视觉语言模型的基础知识、核心技术和常用数据集。接着，系统总结了视觉语言模型的预训练方法，包括对比学习、生成任务和对齐目的的方法，并详细分析了它们的优缺点。此外，文章还深入探究了基于视觉语言模型的迁移学习和知识蒸馏方法，旨在提高模型的泛化能力和效率。

在迁移学习方面，文章讨论了提示调整、特征适配器和其他方法，使预训练模型更好地适应下游任务。知识蒸馏部分则探讨了开放词汇目标检测和语义分割的知识蒸馏方法。

文章通过基准测试和分析，比较了不同预训练、迁移和知识蒸馏方法的性能，并讨论了当前研究中的挑战。未来研究方向包括细粒度视觉语言关系建模、统一视觉和语言特征学习、多语言和多文化视觉语言模型、无监督迁移策略和视觉提示/适配器的使用。

最后，文章提供了相关技术专栏、极视角动态和详细技术综述的链接，供读者进一步探索和学习。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台