大模型微调项目 / 数据集调研汇总

AI最新资讯1个月前发布 tree
22 0 0

今日应用


今日话题


大模型微调项目 / 数据集调研汇总
大模型微调项目 / 数据集调研汇总
 

重点标签 大模型微调数据集技术交流

文章摘要


文章摘要:
本文总结了一些热门的大模微调项目和数据集。作者建议多动手实践,通过克隆项目、下载数据集和使用checkpoint来平定心态。文章介绍了几个大模型微调项目的亮点,包括ChatGLM-6B、Alpaca-CoT、BELLE、Chinese-LLaMA-Alpaca和StackLLaMA,并讨论了它们的结构、训练数据和微调方案。同时,文章还介绍了一些有特色的中文数据集,如Alpaca-CoT、Alpaca_GPT4、belle_data和COIG。最后,作者分享了个人感悟,包括数据清洗方案、微调方案的选择和强化学习的重要性。

正文:
在大模型微调领域,作者通过实践多个项目后,建议大家多动手操作,以更好地理解和应用这些技术。文章详细介绍了以下几个项目:

1. ChatGLM-6B:清华唐杰老师团队开发的中英双语对话模型,基于GLM架构,优化了中文问答和对话能力。项目亮点包括1T个token的中英文预训练和监督微调、反馈自助、人类反馈强化学习等技术的应用。
2. Alpaca-CoT:中科院学生开发的多接口统一的大模型指令微调平台,支持多种底座模型和数据集,特别强调了思维链(CoT)数据集的加入。
3. BELLE:贝壳团队开源的项目,基于Deepspeed-Chat,包括全量参数微调和基于LoRA的参数高效微调。项目开源了大规模的中文IFT数据集,并发布了多篇技术报告。
4. Chinese-LLaMA-Alpaca:科大讯飞&哈工大团队的项目,包括词表扩充、继续预训练和指令精调。项目扩充了LLaMA模型的中文词表,并进行了20G语料的预训练。
5. StackLLaMA:Hugging Face研究人员发布的70亿参数模型,通过人类反馈强化学习在LLaMA-7B微调而来。项目重点介绍了使用RLHF训练模型的实践指南。

此外,文章还介绍了一些有特色的中文数据集,如Alpaca-CoT整理的多个开源IFT数据集、Alpaca_GPT4利用GPT-4生成的数据集、belle_data和COIG等。

作者在个人感悟部分讨论了数据清洗方案、微调方案的选择和强化学习的重要性。作者认为,强化学习对于减少模型的幻觉问题至关重要,并期待未来能看到更多构建强化学习数据和开源强化学习数据集、训练的方案。

[1]: #大模型微调/数据集/技术交流
[2]: #项目总结
[3]: #ChatGLM-6B
[4]: #Alpaca-CoT
[5]: #BELLE
[6]: #Chinese-LLaMA-Alpaca
[7]: #StackLLaMA
[8]: #数据集汇总

文章来源


原文地址: 点我阅读全文
原文作者: 极市平台

© 版权声明

相关文章

暂无评论

暂无评论...