墙裂推荐！Karpathy大模型培训课LLM101n上线了，非常基础

机器学习算法与自然语言处理 · 公众号 · · 2024-06-23 00:24

正文

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 机器之心

让我们训练一个 Storyteller。

今天外网又被 Andrej Karpathy 这一良心课程刷屏了！

项目是 11 小时前被 Karpathy 上传到 Github 的，目的是要构建一个能够创作、提炼和阐释小故事的大语言模型。如今已经被许多网友转发推荐。

项目地址：https://github.com/karpathy/LLM101n

有网友表示，这是 karpathy 老师的新冒险。它将带您从语言建模、机器学习的基础知识开始学习，然后到多模态、RLHF、模型部署。

也有网友称：看起来 karpathy 正在做一门完整的、类似 cs231n 的课程，《LLM101n》将讲授如何从头开始构建类似 ChatGPT 的模型，非常雄心勃勃！

以下是该课程的项目简介：

在本课程中，我们将构建一个 Storyteller AI 大型语言模型 (LLM)，旨在使用 AI 创建、完善和说明小故事，涵盖从基础到类似于 ChatGPT 的可运行 Web 应用程序，并使用 Python、C 和 CUDA 从头开始构建项目，并且只需要最少的计算机科学前提条件。这门课程将使学生对 AI、LLM 和深度学习有相对深入的了解。

教学大纲如下：

第 01 章 Bigram 语言模型（语言建模）
第 02 章 Micrograd（机器学习、反向传播）
第 03 章 N-gram 模型（多层感知器、matmul、gelu）
第 04 章 Attention（attention、softmax、位置编码器）
第 05 章 Transformer（transformer、residue、layernorm、GPT-2）
第 06 章 Tokenization（minBPE、字节对编码）
第 07 章优化（初始化、优化、AdamW）
第 08 章 Deepspeed I：设备（设备，CPU，GPU，...）
第 09 章 DS II：精度（混合精度训练，fp16，bf16，fp8，......）
第 10 章 DS III：分布式（分布式优化、DDP、ZeRO）
第 11 章数据集（数据集、数据加载、合成数据生成）
第 12 章推理 I：kv-cache（kv-cache）
第 13 章推理 II：量化（quantization）
第 14 章微调 I：SFT（监督微调 SFT、PEFT、LoRA、聊天（chat））
第 15 章微调 II：RL（强化学习，RLHF，PPO，DPO）
第 16 章部署（API、Web 应用程序）
第 17 章多模态（VQVAE、扩散 transformer）

那还等什么，学起来吧！

    
       技术交流群邀请函

    
     △长按添加小助手

扫描二维码添加小助手微信

    
      请备注：
      
       姓名-学校/公司-研究方向

墙裂推荐！Karpathy大模型培训课LLM101n上线了，非常基础

正文

请到「今天看啥」查看全文