大模型微调项目 / 数据集调研汇总

今日应用

文心一言

百度文心一言：利用尖端自然语言处理与机器学习技术，为您提供个性化的写作建议、文本优化及智能内容推荐，助力您提升写作效率和内容创作质量。

今日话题

大模型微调项目 / 数据集调研汇总

 

重点标签 大模型微调、数据集、技术交流

文章摘要

文章摘要：
本文总结了一些热门的大模微调项目和数据集。作者建议多动手实践，通过克隆项目、下载数据集和使用checkpoint来平定心态。文章介绍了几个大模型微调项目的亮点，包括ChatGLM-6B、Alpaca-CoT、BELLE、Chinese-LLaMA-Alpaca和StackLLaMA，并讨论了它们的结构、训练数据和微调方案。同时，文章还介绍了一些有特色的中文数据集，如Alpaca-CoT、Alpaca_GPT4、belle_data和COIG。最后，作者分享了个人感悟，包括数据清洗方案、微调方案的选择和强化学习的重要性。

正文：
在大模型微调领域，作者通过实践多个项目后，建议大家多动手操作，以更好地理解和应用这些技术。文章详细介绍了以下几个项目：

1. ChatGLM-6B：清华唐杰老师团队开发的中英双语对话模型，基于GLM架构，优化了中文问答和对话能力。项目亮点包括1T个token的中英文预训练和监督微调、反馈自助、人类反馈强化学习等技术的应用。
2. Alpaca-CoT：中科院学生开发的多接口统一的大模型指令微调平台，支持多种底座模型和数据集，特别强调了思维链（CoT）数据集的加入。
3. BELLE：贝壳团队开源的项目，基于Deepspeed-Chat，包括全量参数微调和基于LoRA的参数高效微调。项目开源了大规模的中文IFT数据集，并发布了多篇技术报告。
4. Chinese-LLaMA-Alpaca：科大讯飞&哈工大团队的项目，包括词表扩充、继续预训练和指令精调。项目扩充了LLaMA模型的中文词表，并进行了20G语料的预训练。
5. StackLLaMA：Hugging Face研究人员发布的70亿参数模型，通过人类反馈强化学习在LLaMA-7B微调而来。项目重点介绍了使用RLHF训练模型的实践指南。

此外，文章还介绍了一些有特色的中文数据集，如Alpaca-CoT整理的多个开源IFT数据集、Alpaca_GPT4利用GPT-4生成的数据集、belle_data和COIG等。

作者在个人感悟部分讨论了数据清洗方案、微调方案的选择和强化学习的重要性。作者认为，强化学习对于减少模型的幻觉问题至关重要，并期待未来能看到更多构建强化学习数据和开源强化学习数据集、训练的方案。

[1]: #大模型微调/数据集/技术交流
[2]: #项目总结
[3]: #ChatGLM-6B
[4]: #Alpaca-CoT
[5]: #BELLE
[6]: #Chinese-LLaMA-Alpaca
[7]: #StackLLaMA
[8]: #数据集汇总

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台