《Python 机器学习》作者新作:从头开始构建大型语言模型,代码已开源

AI最新资讯3周前发布 tree
16 0 0

今日应用


今日话题


《Python 机器学习》作者新作:从头开始构建大型语言模型,代码已开源
《Python 机器学习》作者新作:从头开始构建大型语言模型,代码已开源
 

重点标签 大型语言模型Sebastian Raschka新书开源指令微调AI技术发展

文章摘要


步骤2:撰写摘要
Sebastian Raschka,一位知名的机器学习和人工智能研究员,以及畅销书《Python 机器学习》的作者,最近发布了一本新书《Build a Large Language Model (From Scratch)》。这本书详细阐述了如何从头开始构建一个大型语言模型(LLM),包括创建、训练和调整模型的全过程。为了配合书籍内容,Raschka 还在 GitHub 上开源了相应的代码库,地址为

在大型语言模型(LLM)的发展中,指令微调 是一种提升模型性能的有效方法。Raschka 在其新书中特别强调了这一点,并提供了关于指令微调的详细指导,包括数据格式化、应用 prompt-style 模板以及使用掩码的技巧。

书中使用清晰的语言、图表和示例,详细解释了从设计和创建阶段,到使用通用语料库进行预训练,再到针对特定任务进行微调的每个步骤。具体内容包括:
– 规划和编码 LLM 的所有组成部分;
– 准备适合 LLM 训练的数据集;
– 使用个人数据对 LLM 进行微调;
– 应用指令调整方法以确保 LLM 遵循指令;
– 将预训练权重加载到 LLM 中。

作者介绍:
Sebastian Raschka 拥有个人主页 ,他曾在威斯康星大学麦迪逊分校担任统计学助理教授,专注于深度学习和机器学习的研究。他致力于使 AI 和深度学习的内容更加易于获取,并教授人们如何大规模地应用这些技术。Raschka 也是一位热情的开源软件贡献者,他提出的方法已成功应用于 Kaggle 等机器学习竞赛。除了编写代码,他还撰写了多本畅销书籍,包括《Python Machine Learning》和《Machine Learning with PyTorch and ScikitLearn》。

参考链接:[Sebastian Raschka 的推特](https://twitter.com/rasbt/status/1802327699937009807)。

文章来源


原文地址: 点我阅读全文
原文作者: 机器之心

© 版权声明

相关文章

暂无评论

暂无评论...