“我们跑的是下半场,赌的就是未来的长文本需求。”
嘉宾丨钟怡然
整理丨刘倩 程曼祺
上期播客中,我们与清华的两位博士生,肖朝军和傅天予,聊了稀疏注意力机制的改进,也以注意力为线索,串起了大模型的优化史。
这篇聊关于注意力机制的另一大改进方向:线性注意力。
MiniMa...
嘉宾丨钟怡然
整理丨刘倩 程曼祺
上期播客中,我们与清华的两位博士生,肖朝军和傅天予,聊了稀疏注意力机制的改进,也以注意力为线索,串起了大模型的优化史。
这篇聊关于注意力机制的另一大改进方向:线性注意力。
MiniMa...