24GB单卡全量微调Llama 3-8B,仅需添加一行代码

AI最新资讯4周前发布 tree
24 0 0

今日应用


今日话题


24GB单卡全量微调Llama 3-8B,仅需添加一行代码
24GB单卡全量微调Llama 3-8B,仅需添加一行代码
 

重点标签 tag1大型语言模型微调显存容量BAdam算法

文章摘要


研究人员通常基于预训练的大型语言模型进行微调,以适应特定任务的要求。然而,微调具有一定规模的语言模型需要大量的计算资源,显存容量往往成为主要限制因素。为了解决这一问题,香港中文大学(深圳)的研究者提出BAdam算法,将内存开销大幅降至原来的约六分之一,实现了在一张24GB显存的RTX 3090上全参数微调Llama 2-7b和Llama 3-8b模型。BAdam算法的损失函数收敛速率快于LoRA,且单次迭代所需时间约为LoRA的一半。此外,在SUPERGLUE的基准测试中,由BAdam训练的RoBERTa-large模型在下游任务性能上与使用Adam进行全参数微调的模型相当,显著优于LoRA。

分享主题:24GB单卡高效训练Llama 3-8B,仅需添加一行代码

嘉宾介绍:
罗琪竣为香港中文大学(深圳)数据科学学院在读博士生,导师为李肖教授。本科毕业于香港中文大学(深圳)计算机专业,研究兴趣包含机器学习、优化理论,目前的研究重点为大语言模型的优化和泛化。

分享摘要:
本次分享将概述当前参数高效微调算法及其局限性,进而引出BAdam算法设计并分析其算法特性,包含显存占用、单次迭代所需运算、以及收敛性质,随后将基于以上分析重点介绍BAdam算法实现技巧,以及超参数选取策略。

– 论文链接:[点击这里](https://arxiv.org/abs/2404.02827)
– 代码链接:[点击这里](https://github.com/Ledzy/BAdam)

直播间:
关注机器之心机动组视频号,立即预约直播。

机动组技术交流群:
添加小助手好友备注「研究方向」,获取行业一手资讯,欢迎大家进群聊聊。

机器之心 · 机动组 机动组聚焦于学术研究、工程实践与产业应用,筛选前沿、专业、实用内容,不定期组织学术研讨、技术交流与实战分享等。欢迎所有 AI 领域技术从业者关注。

点击 阅读原文,直达机动组官网,查看往期回顾。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...