大家在实际部署Transformer时，都需要压缩模型来减少内存和计算成本。而Transformer模型结合了注意力和前馈网络，往往需要特定压缩技术来提升性能。
本文总结了
不同情况下的60种Transformer模型压缩方法与开源代码
。分为
量化
、
剪枝
、
知识蒸馏
三大类。
这60种都是近3年内非常新颖的创新方法，并包括
CVPR 2024
、
ICLR 2024
等最新顶会的创新思路。
每个方法都有对应的开源代码
，已经为同学们总结了
核心思路
，直接get到研究的核心创新，然后进行复现。
相信这些方法能帮助大家更高效的部署模型，提高实验效率与结果。想要60种Transformer模型压缩方法与开源代码的网盘合集，可以
扫码下载
。
扫码获取60种Transformer模型压缩方法与开源代码
量化是在各种设备上部署 Transformer 的关键步骤，能减少计算需求和内存占用，并最小化对模型性能的影响。
本文整理的量化方法中，包括
CVPR 2024针对SAM的后训练量化框架
、
ICLR 2024高性能的全向校准量化技术
、
AAAI 2024异常感知权重量化
等等最新创新方法。
这些最新方法能让大家学到最前沿的量化技术，并应用于自己的科研之中，提高模型性能。
扫码即可下载
。
剪枝是一种用于压缩和加速的技术，通过消除非必要的权重或结构来保持网络性能水平，包括修剪和模型训练的顺序，结构规范以及确定修剪参数的方式。
合集中20种剪枝方法，有来自
ICLR 2023的软阈值剪枝
、
稀疏性角度剪枝
、
对齐训练提高剪枝性能
等。
所有方法全部开源，欢迎有模型压缩需求的同学们扫码下载。
