字节豆包大模型团队提出稀疏模型架构，推理成本最高可降低83%

杭州日报 · 公众号 · 浙江 · 2025-02-12 17:23

主要观点总结

字节跳动豆包大模型Foundation团队提出了UltraMem架构，这是一种稀疏模型架构，旨在解决MoE推理时的访存问题。该架构在保证模型效果的前提下，提升了推理速度，成本也有所降低。

字节跳动豆包大模型Foundation团队最近推出了UltraMem架构，这是一个稀疏模型架构，旨在解决计算和参数的解耦问题。

UltraMem架构有效地解决了MoE（Model Parallelism）推理时的高额访存问题。

相比MoE架构，UltraMem架构提升了推理速度，速度提升可达到2-6倍。此外，推理成本最高可降低83%。

据豆包大模型团队消息，字节跳动豆包大模型Foundation团队近期提出UltraMem，一种同样将计算和参数解耦的稀疏模型架构，在保证模型效果的前提下解决了推理的访存问题。

据介绍，该架构有效解决了MoE推理时高额的访存问题， 推理速度较MoE架构提升2-6倍，推理成本最高可降低83%。

来源：财联社
编辑贾凯审核蒋波钟玮

推荐文章

FM93交通之声 · 太突然！千万粉丝网红内容清空，下架所有视频

19 小时前

钱江晚报 · 热搜第一！2000万粉丝小网红被绊倒痛哭，网友质疑！母亲紧急回应

昨天

杭州日报 · 太突然！知名演员因病去世，年仅50岁，参演新剧刚刚在央视播出...

昨天

杭州日报 · 价格暴跌！杭州正大量上市，有人狂囤80斤…商户：后面更便宜

2 天前

FM93交通之声 · “羞于启齿！太痛苦了！”这病最近集中爆发，有医院1个月后才有床位

2 天前

半导体行业观察 · 指纹识别芯片2017可望引爆全球商机

8 年前

腾讯数码 · 手机变成PC明明是一件很酷的事儿，为啥就是火不起来？

7 年前

毒舌电影 · 第一集值五星，以后怎么办

7 年前

教育百师通 · 孩子语文学不好，家长肯定没做好这件事...| 公开课NO.2

7 年前

魔鬼心理学 · 女生想kiss的5大暗示！

7 年前