总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

AI最新资讯3个月前发布 tree
62 0 0

今日应用


今日话题


总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述
总结374篇相关工作,陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述
 

重点标签 知识蒸馏大语言模型LLMs开源模型小模型

文章摘要


本文讨论了大语言模型LLMs)的迅速发展及其在科研和工业界的应用。由于闭源LLMs与开源LLMs之间存在差距,研究者致力于提升开源LLMs和其他小模型的能力。知识蒸馏(KD)技术成为研究热点,通过从教师模型(如GPT-4)向学生模型(如Llama)转移知识,显著提升小模型性能。本文还介绍了陶大程团队发布的《Knowledge Distillation: A Survey》和最新的《A Survey on Knowledge Distillation of Large Language Models》综述,后者总结了374篇相关工作,探讨了从大语言模型中获取知识、训练小模型的方法,以及知识蒸馏在模型压缩和自我训练中的作用。

综述架构:
综述将知识蒸馏分为两个步骤:知识获取和蒸馏算法。知识获取包括标注、扩展、数据合成、特征抽取、反馈和自生成的知识。蒸馏算法包括有监督微调、散度及相似度、强化学习和排序优化。此外,还讨论了技能蒸馏和垂直领域蒸馏,以及未来研究方向,如数据选择、多教师蒸馏、克服灾难性遗忘和可信知识蒸馏。

结论:
综述全面总结了如何利用大语言模型的知识提升学生模型,包括自蒸馏技术。通过知识获取和蒸馏算法的分类,以及技能蒸馏和垂直领域蒸馏的总结,该综述旨在推动大语言模型知识蒸馏的边界,实现更易获取、高效、有效和可信的大语言模型。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...