文末有试听内容。

面向人群

• 零基础但对大模型有强烈兴趣的转行人士
• 已有一定机器学习或深度学习背景，想深入理解和掌握大模型技术的从业者
• 希望进入人工智能行业，掌握大模型前沿技术的大学生或研究生
• 自学经常卡壳，需要手把手辅导的

课程特色

• 系统化学习路径： 从基础到高级，逐步深入大模型的核心技术与应用，确保学员能够全面掌握。
• 实战驱动： 每个阶段都包含实战项目，理论与实践结合，帮助学员快速上手，积累项目经验。
• 专家指导： 由阿里算法专家亲授，分享一线大模型研发与应用经验，帮助学员避开常见的学习误区。
• 就业导向： 课程结束后，提供简历包装与面试指导，助力学员顺利转行或求职。

讲师团队

双导师 | 阿里算法专家 | 算法团队leader

训练营内容

1、学习目标

• 1、层层递进的实战，掌握 llm 应⽤开发全周期⽅法
• 2、有可以包装到简历中的，⾯试官感兴趣的案例项⽬
• 3、了解底层的原理，为论⽂创新点奠定基础

2、课程内容

• ⼤模型前置学习内容：LSTM、Transformer、Attention等基础知识和⾯试题；
• ⼤语⾔模型基础架构：GPT、LLama原理与代码实践；
• ⼤语⾔模型优化⽅法：训练⽅法、RLHF、微调⽅法、RAG
• 多模态⼤模型：LLaVA、VisualGLM等
• ⼤语⾔模型实战：基于RAG的⼤语⾔模型实战项⽬
• ⼤⼚真实的⾯试题：不断更新的、真实的⼤语⾔模型的技术⾯试经验。

3、课程安排

第0周：大模型应用的开发周期、学习路径与学习方法

• 大模型应用的全生命周期： 需求分析、数据准备、模型训练、模型部署与监控。
• 学习路径设计： 如何系统学习大模型技术，建立有效的知识结构。
• 高效学习方法： 如何利用碎片化时间、高效工具和社区资源快速提升。

第1周：基础模型与Transformer架构详解

• Word2Vec概述： 理解词向量的基本概念和训练原理。
• LSTM与Attention机制： 深入理解序列模型中的LSTM，及其在Attention机制中的应用。
• Transformer架构解析： 从底层原理到向量在Transformer中的流动，逐步拆解其运作机制。
• 实战演练： 实现并优化一个简单的文本分类模型，巩固所学概念。

第2周：充分挖掘LLM的能力—提示词工程

• 提示词工程概述： 如何利用提示词引导大模型输出高质量结果。
• 万能提示词框架设计： 构建通用提示词模板，适应不同应用场景。
• One-shot与Few-shot学习： 探索少样本学习的实用技巧。
• 思维链(CoT)与输出格式设定： 提升模型推理能力与输出精度。
• 实战项目： 打造一个情感陪伴助手，通过提示词优化提升其交互体验。

第3周：搭建属于你的Agent系统—LLM+SOP及Function-Calling

• Agent系统架构： 如何利用大模型和标准操作程序（SOP）构建智能Agent。
• Websearch与Code Interpreter集成： 打造一个能够自动搜索和解释代码的智能Agent。
• 多平台API集成： 探讨与集成各类平台API，提高系统的多功能性。
• 实战项目： 搭建一个金融分析Agent系统，能够自动获取并分析市场数据。

第4周：如何打造一个商业化的RAG系统

• RAG系统架构与挑战： 详解基于检索增强生成（RAG）的大模型应用，以及在商业化过程中的挑战。
• Chunk优化与Embedding模型优化： 提升模型的检索准确率和响应速度。
• Rank优化与Query优化： 通过排名和查询优化提高系统的整体性能。
• 实战项目： 打造一个医疗问诊RAG系统，详细讲解优化思路与实现过程。

第5周：深入剖析Llama3架构

• Tokenizer与Embedding解析： 探讨大模型的输入预处理与词向量生成机制。
• 多头注意力机制与激活层： 深入理解注意力机制在大模型中的关键作用。
• Llama3架构全面解读： 从底层架构到具体实现，详细剖析Llama3的技术细节。
• 实战项目： 使用PyTorch从零搭建Llama3系统，掌握大模型架构的实战应用。

第6周：微调技术解析与应用

• 全量微调与Lora/QLora技术： 探索微调技术在不同场景中的应用与优化策略。
• P-tuning与Adapter方法： 解析适应不同任务需求的微调技术。
• 显存计算与模型评估： 学习微调与推理过程中的显存计算方法，掌握模型评估的关键指标。
• 实战项目： 使用Llama3训练一个中文医疗大模型，优化其性能并进行全面评估。

第7周：RLHF技术详解与实战

• RLHF基础概念： 解析强化学习与人类反馈结合的技术原理。
• DPO与PPO算法解析： 深入理解分布式策略优化（DPO）与近端策略优化（PPO）在RLHF中的应用。
• Reward Model构建与优化： 如何构建有效的奖励模型以提升大模型的表现。
• 实战项目： 从零开始实现RLHF技术，探索其在实际应用中的挑战与解决方案。

第8周：大模型的分布式训练与并行计算

• 分布式与并行计算概述： 探索在大规模模型训练中的分布式与并行计算技术。
• 数据并行与模型并行： 理解数据并行与模型并行的原理与应用场景。