总结374篇相关工作，陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

今日应用

职得AI简历

职得AI简历 - 免费、智能、快速，帮您一键生成符合岗位需求的个性简历！

今日话题

总结374篇相关工作，陶大程团队联合港大、UMD发布LLM知识蒸馏最新综述

 

重点标签 知识蒸馏、大语言模型、LLMs、开源模型、小模型

文章摘要

本文讨论了大语言模型（LLMs）的迅速发展及其在科研和工业界的应用。由于闭源LLMs与开源LLMs之间存在差距，研究者致力于提升开源LLMs和其他小模型的能力。知识蒸馏（KD）技术成为研究热点，通过从教师模型（如GPT-4）向学生模型（如Llama）转移知识，显著提升小模型性能。本文还介绍了陶大程团队发布的《Knowledge Distillation: A Survey》和最新的《A Survey on Knowledge Distillation of Large Language Models》综述，后者总结了374篇相关工作，探讨了从大语言模型中获取知识、训练小模型的方法，以及知识蒸馏在模型压缩和自我训练中的作用。

综述架构：
综述将知识蒸馏分为两个步骤：知识获取和蒸馏算法。知识获取包括标注、扩展、数据合成、特征抽取、反馈和自生成的知识。蒸馏算法包括有监督微调、散度及相似度、强化学习和排序优化。此外，还讨论了技能蒸馏和垂直领域蒸馏，以及未来研究方向，如数据选择、多教师蒸馏、克服灾难性遗忘和可信知识蒸馏。

结论：
综述全面总结了如何利用大语言模型的知识提升学生模型，包括自蒸馏技术。通过知识获取和蒸馏算法的分类，以及技能蒸馏和垂直领域蒸馏的总结，该综述旨在推动大语言模型知识蒸馏的边界，实现更易获取、高效、有效和可信的大语言模型。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心