专栏名称: 爱可可-爱生活

知名互联网资讯博主北邮PRIS模式识别实验室陈老师

相关文章推荐

爱可可-爱生活 · LLM的长文本处理为何频频“走神”？MuDA ... · 21 小时前

人工智能那点事 · 罗福莉深夜发声：我不是天才少女，请收手吧！ · 昨天

爱可可-爱生活 · 通俗版解读查看图片-20250220074249 · 昨天

爱可可-爱生活 · 有点恐怖：“一个无脸、解剖学精确的合成人，拥 ... · 昨天

爱可可-爱生活 · 【[59星]ThinkDiff：让扩散模型具 ... · 2 天前

51好读 › 专栏 › 爱可可-爱生活

【[618星]MoBA：名为 MoBA（Mixture of B-20250219193217

爱可可-爱生活 · 微博 · AI · 2025-02-19 19:32

正文

【[618星]MoBA：名为 MoBA（Mixture of Block Attention）的新型注意力机制，旨在提高大型语言模型（LLM）处理长文本上下文的效率和性能。亮点：1. 长文本处理效率提升，支持1M上下文长度；2. 参数无偏的Top-k门控机制，精准筛选关键信息；3. 无缝切换全注意力与稀疏注意力模式，性能与效率兼得】
'MoBA: Mixture of Block Attention for Long-Context LLMs'
GitHub: github.com/MoonshotAI/MoBA
#长文本处理# #注意力机制# #大语言模型# #AI创造营#