本文提出了一种基于Pyramid Vector Quantization (PVQ) 的大型语言模型量化方法,通过利用权重的球面几何特性、结合Hessian信息和理论最优增益量化,实现了高效、高性能的权重和激活量化,在多个LLM模型上取得了最先进的成果。
知名互联网资讯博主 北邮PRIS模式识别实验室陈老师 |
宝玉xp · //@长夜微光bit:金融领域实践:八百到两 ... · 昨天 |
宝玉xp · //@韦恩卑鄙:补一句 一样好的技术 ... · 2 天前 |
黄建同学 · #AI能过程序员节吗##1024程序员节# ... · 2 天前 |
宝玉xp · 如何写好提示词?(3)在工作中,最害怕的事情 ... · 3 天前 |
爱可可-爱生活 · 本文提出了一种基于语义熵的 LLM ... · 3 天前 |
宝玉xp · //@长夜微光bit:金融领域实践:八百到两千-20241026015947 昨天 |
宝玉xp · //@韦恩卑鄙:补一句 一样好的技术 是必须在有业务的人手上锦上-20241025100611 2 天前 |
黄建同学 · #AI能过程序员节吗##1024程序员节# AI慢慢地也会变得不-20241024121532 2 天前 |
宝玉xp · 如何写好提示词?(3)在工作中,最害怕的事情不是任务多难,而是领-20241024093456 3 天前 |
爱可可-爱生活 · 本文提出了一种基于语义熵的 LLM 微调方法,有效地减少了长短文-20241024055147 3 天前 |
阅尽天下沧桑 · 张艺谋用一部《长城》跪拜在西方面前:只有白人可以救中国! 7 年前 |
梦幻西游 · 炼妖阁丨第二本书掉须弥,然而担架队还是没盒饭 7 年前 |
新熵 · 从面相学看草根董小姐如何逆袭成商界女强人 7 年前 |
家长慧 · 孩子性格好不好,夫妻关系起决定作用! 7 年前 |
天涯社区 · 煮酒论史 | 谁是《红楼梦》中真正的“狐媚子”? 7 年前 |