本文提出了一种基于Pyramid Vector Quantiza-20241024054723

爱可可-爱生活 · 微博 · AI · 2024-10-24 05:47

正文

本文提出了一种基于Pyramid Vector Quantization (PVQ) 的大型语言模型量化方法，通过利用权重的球面几何特性、结合Hessian信息和理论最优增益量化，实现了高效、高性能的权重和激活量化，在多个LLM模型上取得了最先进的成果。

[LG]《Pyramid Vector Quantization for LLMs》T F. A. v d Ouderaa, M L. Croci, A Hilmkil, J Hensman [Microsoft Research] (2024)

推荐文章

宝玉xp · //@长夜微光bit:金融领域实践：八百到两千-20241026015947

昨天

宝玉xp · //@韦恩卑鄙:补一句一样好的技术是必须在有业务的人手上锦上-20241025100611

2 天前

黄建同学 · #AI能过程序员节吗##1024程序员节# AI慢慢地也会变得不-20241024121532

2 天前

宝玉xp · 如何写好提示词？(3)在工作中，最害怕的事情不是任务多难，而是领-20241024093456

3 天前

爱可可-爱生活 · 本文提出了一种基于语义熵的 LLM 微调方法，有效地减少了长短文-20241024055147

3 天前

阅尽天下沧桑 · 张艺谋用一部《长城》跪拜在西方面前：只有白人可以救中国！

7 年前

梦幻西游 · 炼妖阁丨第二本书掉须弥，然而担架队还是没盒饭

7 年前

新熵 · 从面相学看草根董小姐如何逆袭成商界女强人

7 年前

家长慧 · 孩子性格好不好，夫妻关系起决定作用！

7 年前

天涯社区 · 煮酒论史 | 谁是《红楼梦》中真正的“狐媚子”？

7 年前

Sov5搜索 · 小百科 · 移动版

51好读 - 好文章就要读起来!