专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
目录
相关文章推荐
爱可可-爱生活  ·  【Thinking ... ·  2 天前  
爱可可-爱生活  ·  【ebook2audiobookXTTS:电 ... ·  4 天前  
宝玉xp  ·  转发微博-20241112132102 ·  5 天前  
新智元  ·  清华团队破解具身智能Scaling ... ·  6 天前  
51好读  ›  专栏  ›  爱可可-爱生活

Pie 框架通过性能透明的内存交换和自适应扩展算法,充分利用高带-20241116055038

爱可可-爱生活  · 微博  · AI  · 2024-11-16 05:50

正文

2024-11-16 05:50

Pie 框架通过性能透明的内存交换和自适应扩展算法,充分利用高带宽硬件,有效解决了大型语言模型推理中 GPU 内存瓶颈问题,显著提升了吞吐量并降低了延迟,其自适应能力尤其令人印象深刻。
[LG]《Pie: Pooling CPU Memory for LLM Inference》Y Xu, Z Mao, X Mo, S Liu... [UC Berkeley] (2024) 网页链接 #机器学习##人工智能##论文#