主要观点总结
本文主要介绍了微软亚洲研究院等联合开发的T-MAC技术，它是一种基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计。T-MAC无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度，为在边缘设备上部署大型语言模型铺平了道路。
关键观点总结
关键观点1: T-MAC技术介绍
T-MAC是一种基于查找表（LUT）的计算范式，用于在CPU上高效执行低比特大型语言模型推理。它无需权重反量化，直接支持混合精度矩阵乘法，显著减少推理开销并提高计算速度。
关键观点2: T-MAC技术优势
T-MAC的主要优势在于采用查找表计算范式，而非传统的乘累加（MAC）计算范式。它利用查找表直接支持低比特计算，消除了其他系统中必须的反量化操作，并且显著减少了乘法和加法操作的数量。
关键观点3: T-MAC在边缘设备部署的应用
T-MAC为在资源受限的边缘设备上实际部署低比特大型语言模型铺平了道路，其高效的推理性能和统一且可扩展的特性使其成为当前大模型部署的优选方案。
关键观点4: T-MAC与传统方法的对比
与传统方法相比，T-MAC在计算性能上随着比特数的降低而线性提高，并且达到相同生成速率时所需的核心数更少，具有显著的功耗优势。
关键观点5: T-MAC的实现挑战及优化措施
将基于比特为核心的查表计算实现在CPU上仍面临挑战，如随机访存和有限的片上内存使用。为此，微软亚洲研究院的研究员们为这种计算范式设计了高效的数据结构和计算流程，包括将LUT存入片上内存、改变矩阵axis计算顺序、设计最优矩阵分块方式、参数weights的布局优化以及对Intel/ARM CPU的针对性优化。
正文
【新智元导读】
T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。
为增强设备上的智能性，在边缘设备部署大型语言模型（LLMs）成为了一个趋势，比如微软的Windows 11 AI + PC。
目前部署的大语言模型多会量化到低比特。然而，低比特LLMs在推理过程中需要进行低精度权重和高精度激活向量的混合精度矩阵乘法（mpGEMM）。现有的系统由于硬件缺乏对mpGEMM的原生支持，不得不将权重反量化以进行高精度计算。这种间接的方式导致了显著的推理开销，并且无法随着比特数进一步降低而获得加速。
为此，微软亚洲研究院、中国科学技术大学、中国科学院大学的研究人员联合开发了T-MAC。T-MAC采用基于查找表（LUT）的计算范式，无需反量化，直接支持混合精度矩阵乘，其高效的推理性能以及其统一且可扩展的特性为在资源受限的边缘设备上实际部署低比特LLMs铺平了道路。
代码：https://github.com/microsoft/T-MAC
论文：https://www.arxiv.org/pdf/2407.00088
此外，当前大模型的部署普遍依赖于专用加速器，如NPU和GPU等，而T-MAC可以摆脱专用加速器的依赖，仅利用CPU部署LLMs，推理速度甚至能够超过同一片上的专用加速器，使LLMs可以部署在各类包括PC、手机、树莓派等边缘端设备。T-MAC现已开源。
T-MAC的关键创新在于采用基于查找表（LUT）的计算范式，而非传统的乘累加（MAC）计算范式。T-MAC 利用查找表直接支持低比特计算，从而消除了其他系统中必须的反量化(dequantization)操作，并且显著减少了乘法和加法操作的数量。
经过实验，T-MAC展现出了卓越的性能：在配备了最新高通Snapdragon X E
lite芯片组的Surface AI PC 上，3B BitNet-b1.58模型的生成速率可达每秒48个token，2bit 7B llama模型的生成速率可达每秒30个token，4bit 7B llama模型的生成速率可达每秒20个token。
当部署llama-2-7b-4bit模型时，尽管使用NPU可以生成每秒10.4个token，但CPU在T-MAC的助力下，仅使用两核便能达到每秒12.6个token，最高甚至可以飙升至每秒22个token。
这些都远超人类的平均阅读速度，相比于原始的llama.cpp框架提升了4至5倍。
即使在较低端的设备如Raspberry Pi 5上，T-MAC针对3B BitNet-b1.58也能达到每秒11个token的生成速率。T-MAC也具有显著的功耗优势：达到相同的生成速率，T-MAC所需的核心数仅为原始llama.cpp的1/4至1/6，降低能耗的同时也为其它应用留下计算资源。
值得注意的是，T-MAC的计算性能会随着比特数的降低而线性提高，这一现象在基于反量化去实现的GPU和NPU中是难以观察到的。但T-MAC能够在2比特下实现单核每秒10个token，四核每秒28个token，大大超越了NPU的性能。
图1 BitNet on T-MAC vs llama.cpp on Apple M2
图2 在不同端侧设备CPU（Surface Laptop 7, NVIDIA AGX Orin, Apple M2-Ultra）的各核数下T-MAC和llama.cpp的token生成速度可达llama.cpp的4-5倍。达到相同的生成速率，T-MAC所需的核心数仅为原始llama.cpp的1/4至1/6
对于低比特参数 (weights)，T-MAC将每一个比特单独进行分组（例如，一组4个比特），这些比特与激活向量相乘，预先计算所有可能的部分和，然后使用LUT进行存储。
之后，T-MAC采用移位和累加操作来支持从1到4的可扩展位数。通过这种方法，T-MAC抛弃了CPU上效率不高的FMA（乘加）指令，转而使用功耗更低效率也更高的TBL/PSHUF（查表）指令。
图3 混合精度GEMV基于现有反量化的实现范式vs T-MAC基于查找表的新范式
传统的基于反量化的计算，实际上是以数据类型为核心的计算，这种方式需要对每一种不同的数据类型单独定制。
每种激活和权重的位宽组合，如W4A16（权重int4激活float16） 和W2A8，都需要特定的权重布局和计算内核。
举个例子，W3的布局需要将2位和另外1位分开打包，并利用不同的交错或混洗方法进行内存对齐或快速解码。然后，相应的计算内核需要将这种特定布局解包到硬件支持的数据类型进行执行。
而T-MAC通过从比特的视角观察低比特矩阵乘计算，只需为单独的一个比特设计最优的数据结构，然后通过堆叠的方式扩展到更高的2/3/4比特。
同时，对于不同精度的激活向量（float16/float32/int8），仅有构建表的过程需要发生变化，在查表的时候不再需要考虑不同的数据结构。
图4 以比特为核心的查表计算混合精度GEMV
同时，传统基于反量化的方法，从4-比特降低到3/2/1-比特时，尽管内存占用更少，但是计算量并未减小，而且由于反量化的开销不减反增，性能反而可能会更差。
但T-MAC的计算量随着比特数降低能够线性减少，从而在更低比特带来更好加速，为最新的工作BitNet，EfficientQAT等发布的1-比特/2-比特模型提供了高效率的部署方案。
图5 使用不同端侧设备CPU的单核，T-MAC在4到1比特的混合精度GEMV算子相较llama.cpp加速3-11倍。T-MAC的GEMM耗时能随着比特数减少线性减少，而基于反量化的llama.cpp无法做到（1比特llama.cpp的算子性能由其2比特实现推算得到）
