专栏名称: 爱可可-爱生活
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师
目录
相关文章推荐
爱可可-爱生活  ·  【本地知识图谱:一个基于Flask的网页应用 ... ·  昨天  
爱可可-爱生活  ·  欢迎收听「爱可可AI前沿快报」,用最通俗的语 ... ·  3 天前  
黄建同学  ·  facecam.ai可让任何人即时、快速地通 ... ·  3 天前  
51好读  ›  专栏  ›  爱可可-爱生活

【字节跳动ABQ-LLM:一款支持任意位宽组合量化操作的加速库,-20240921173007

爱可可-爱生活  · 微博  · AI  · 2024-09-21 17:30

正文

2024-09-21 17:30

【字节跳动ABQ-LLM:一款支持任意位宽组合量化操作的加速库,主要功能包括精确的仅权重量化和权重激活量化,以及预训练模型权重,用于大型语言模型的量化推理】'ABQ-LLM: An acceleration library that supports arbitrary bit-width combinatorial quantization operations' GitHub: bytedance/ABQ-LLM #人工智能# #量化操作# #大型语言模型#