墙裂推荐！Karpathy大模型培训课LLM101n上线了，非常基础

今日应用

cc0图片网

CC0.CN / CC零图片网，可用于商业用途的免费图片素材聚合。CC0.CN上的图片均可用在个人及商业用途的项目中。例如：网站、自媒体等应用配图，广告及宣传册印刷设计等均可免费使用，免除版权困扰...

今日话题

墙裂推荐！Karpathy大模型培训课LLM101n上线了，非常基础

 

重点标签 Storyteller AI、大型语言模型、机器学习、深度学习、课程项目

文章摘要

Andrej Karpathy 最近在 GitHub 上上传了一个名为 “LLM101n” 的课程项目，该项目旨在教授如何构建一个能够创作、提炼和阐释小故事的大型语言模型（LLM），即 Storyteller AI。这个项目迅速在互联网上引起了广泛关注和推荐。

Karpathy 是一位知名的 AI 研究员和教育者，他的这次新冒险被认为非常雄心勃勃。课程内容从语言建模和机器学习的基础知识开始，逐步深入到多模态学习、强化学习（RLHF）、模型部署等高级主题。项目地址为：https://github.com/karpathy/LLM101n。

课程的教学大纲非常全面，包括但不限于以下几个方面：
1. Bigram 语言模型：介绍语言建模的基本概念。
2. Micrograd：涵盖机器学习和反向传播的基础知识。
3. N-gram 模型：介绍多层感知器、矩阵乘法和 GELU 激活函数。
4. Attention：讲解注意力机制、softmax 和位置编码器。
5. Transformer：深入 Transformer 模型及其变体，如 GPT-2。
6. Tokenization：介绍字节对编码（BPE）等文本处理技术。
7. 优化：探讨模型初始化和优化技术，如 AdamW。
8. Deepspeed：涉及设备使用、精度训练和分布式优化。
9. 数据集：讨论数据集的创建、加载和合成数据生成。
10. 推理：包括键值缓存和量化技术。
11. 微调：介绍监督微调和强化学习技术。
12. 部署：教授如何将模型部署为 API 或 Web 应用程序。
13. 多模态：探索 VQVAE 和扩散 Transformer 等多模态技术。

通过这门课程，学生将能够对 AI、LLM 和深度学习有一个相对深入的了解，并掌握从零开始构建类似 ChatGPT 的模型的能力。这无疑是一个令人兴奋的学习机会，适合对 AI 和深度学习感兴趣的学生和研究人员。

文章来源

原文地址: 点我阅读全文
原文作者: 机器之心