今日应用
今日话题
ECCV 2024|R-Adapter:零样本模型微调新突破,提升鲁棒性与泛化能力
重点标签 Robust Adapter、微调、零样本模型、自我集成、MPM-NCE损失
文章摘要
本文介绍了一种名为Robust Adapter(R-Adapter)的新型微调方法,旨在提高零样本模型在下游任务中的泛化能力和效率。
R-Adapter通过在预训练模型中集成轻量级模块,并采用自我集成技术提高对超出分布范围数据的鲁棒性,同时减少存储开销。
此外,论文提出了Multi-Positive Margin NCE(MPM-NCE)损失函数,专为视觉-语言下游任务设计,以确保多个图像-文本对的精确对齐和具有区分性的特征学习。
实验结果表明,该方法在分布转移条件下表现出色,且使用的参数更少。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...