本科生0基础1.5个月拿到LLM高薪岗位近40w学习路径图

我们从2024.1月底到现在已经帮助大几十个同学进阶LLM了，课程不断更新优化，好评不断，期待你的加入~

一些成果

1. 两位大四本科生0基础通过1个半月的学习，一位拿到 20k*14 ，一位拿到 23k*16 的LLM岗位
2. 数位在职传统NLPer拿到LLM岗位 20-50 %的跳槽涨薪
3. 数位在读PhD由传统NLP转向LLM科研时代，并 投稿出论文

我们的小团队：

• 23年面试近50场国内LLM大厂通过率100%拿到多个大厂 人才计划 offer的毕业生（试听课就是他~）
• 上海某985本硕、外企LLM算法工程师、 知乎LLM领域万粉博主 ，近百篇LLM文章使很多同学受益
• 某985一线95后年轻 副教授 ，每年LLM论文发到手软，横向、纵向项目的领头人、LLM落地创业ing

我们训练营是一个 用最短时间高效掌握最庞大LLM体系知识的训练营

咨询报名与试听课

我们做了试听课，内容为：

1. LLM找工作/搞科研需要具备的能力
2. LLM的整体概览

注：试听课基本上与实际讲课一致，但是方法日新月异，可能会存在某些方法过时被放弃，而添加新技术的情况。

内容大纲

所有LLM几乎所有内容都会讲解，新出现的知识也会不断更新,比如最近在准备 deepseek mla, mamba 2, 推理的prefill,decode 分离等最新知识 的录制~

目前已有的知识如下~

1. 基础知识

磨刀不误砍柴工，LLM基础知识还是需要的。会按照历史梳理LM，详解BERT、GPT系列、长文本编码、kimi等各种预备核心知识点，并带着进行 GPT预训练实战 等。

2. 数据工程

数据很重要，数据是天花板，算法只是无限接近天花板。LLM的第一步就是数据处理，国外的很多SoTA研究都基于此。 最后以最近几个月提出来的Deita方法作为实战结尾。

3. 大模型预训练

在这里会讲解预训练的常用框架，以及大语言模型的“大”，就离不开分布式。ZeRO的三个级别、Deepspeed理论与实战等等是必备技能。

4. 大模型微调

LLM微调最费机器，所以也是知识点最多的地方，比如详解各种PEFT方法、LoRA、QLoRA（两种量化、Page Optimizer等）、RLHF（强化学习基础、RW、PPO和PPO-max）等，以及Llama-Factory实战、LLaMA2-QLoRA实战和RLHF实战来巩固所学。

5. 推理和部署优化

LLM模型搞定，就需要考虑如何快速推理了。这里会详解Flash Attention、Speculative Decoding、KV-Cache、Paged Attention、Dynamic Batching和Contiuous Batching、稀疏attention和MoE等。

6. 评测和分析

LLM有输出啦，那么如何评测呢，又该评测哪些呢？这些问题又是哪里导致的呢？这里会一一进行讲解。

7. RAG&Agent应用

目前应用最火的就是Agent、langchain、RAG了，我们会对其进行详解，并最后以langchain-RAG实战收尾。

8. Transformer的结构改进与替代方案

所有LLM课程都讲完了，那么就要带有批判思维回顾下Transformer架构是否有哪些问题？那里需要改进？是否有新的模型替代， 比如最近刚火的MoE和Mamba在这里都会详细讲解 ，新的 deepseek mla, Mamba 2, 推理的prefill,decode 分离等 正在路上~

试听课

我们做了试听课，内容为：

1. LLM找工作/搞科研需要具备的能力
2. LLM的整体概览

注：试听课基本上与实际讲课一致，但是方法日新月异，可能会存在某些方法过时被放弃，而添加新技术的情况。

内容细节展示

1. LLM理论与实践

• 目前已有十多次课程录播，涵盖100多个知识点、全套知识理论讲解、代码精读、课下学习文档、多项项有趣实战内容（notebook等形式）。
• 课程都在实时更新和优化中，比如mamba、kimi、llama3等出现，我们会及时添加进入~
• 项目实践内容不断优化中~

2. 课后作业

除了已定的实战项目外，还会有额外的发散性思维作业等。

3. 答疑

• 课下群里随时文字答疑（每天群里都异常活跃~）
• 如果需要，可灵活安排直播在线答疑（meeting答疑是不可或缺哒~）

其他服务

面经