专栏名称: 黄建同学
数码博主 超话主持人(ChatGPT超话) 头条文章作者 我的学习笔记,关注AI+新能源
目录
相关文章推荐
量子位  ·  奥特曼再谈DeepSeek:肯定开源模型巨大 ... ·  2 天前  
爱可可-爱生活  ·  【[23星]iFormer:为移动应用打造的 ... ·  2 天前  
宝玉xp  ·  哈哈,自从 DeepSeek ... ·  3 天前  
黄建同学  ·  这个项目的codebase是基于Open-R ... ·  4 天前  
黄建同学  ·  话说,AI ... ·  4 天前  
51好读  ›  专栏  ›  黄建同学

Tom Yeh教授的DeepSeek专门讲座视频↓(就是那个用e-20250210182243

黄建同学  · 微博  · AI  · 2025-02-10 18:22

正文

2025-02-10 18:22

Tom Yeh教授的DeepSeek专门讲座视频↓(就是那个用excel实现Transformer的厉害教授 网页链接

讲座大纲:
1. Transformer

2. 注意力机制(Attention)
- 自注意力机制(Self-Attention)
- 多头注意力机制(Multi-Head Attention)
- 多头潜在注意力机制(Multi-Head Latent Attention,DeepSeek)

3. 前馈网络(Feed-Forward)
- 单专家(Single Expert)
- 专家混合(Mixture of Experts, MoE)
- 稀疏专家混合(Sparse Mixture of Experts)
- 共享+路由专家混合(Shared+Routed Mixture of Experts,DeepSeek)

4. 旋转位置编码(RoPE, Rotary Position Embedding)

访问:www.byhand.ai/p/deepseek-lecture-128

#deepseek# #AI.com直达DeepSeek# #ai创造营#






请到「今天看啥」查看全文