高效大语言模型：综述

23年12月论文“Efficient Large Language Models: A Survey“，来自Ohio State、英国伦敦帝国学院、Michigan State、AWS、谷歌、Boston AI、微软、Michigan大学等。

定义的三个类别具体如下：

1. •以模型为中心的方法：以模型为中心的方法侧重于算法级和系统级的高效技术，其中模型本身是焦点。LLM具有数十亿甚至数万亿的参数，与较小规模的模型相比，LLM表现出不同的特征[299]，这就需要开发新技术。高效技术涵盖了与模型压缩、高效预训练、高效微调、高效推理和高效架构设计相关的研究方向。

2. •以数据为中心的方法：在LLM领域，数据的重要性与模型本身的重要性一样。以数据为中心的方法侧重于数据质量和结构在提高LLM效率方面的作用。高效的技术涵盖了与数据选择和提示工程相关的研究方向。

3. •LLM框架：LLM的出现要求开发专门的框架，有效地处理其训练、推理和服务。虽然TensorFlow、PyTorch和JAX等主流人工智能框架提供了基础，但它们缺乏对LLM关键的特定优化和功能的内置支持。高效LLM设计的现有框架，包括独特功能、底层库和专业化。

如图分类概述：

模型为中心的方法

模型压缩总结如下，包括：量化quantization, 参数剪枝parameter pruning, 低秩近似low-rank approximation, 和 知识蒸馏knowledge distillation。

高效的预训练技术可以分为四类：混合精度加速、缩放模型、初始化技术和优化策略。总结如下：

注意优化的概览图如下：

数据为中心的方法

如图总结了用于高效预训练和微调的最新数据选择技术：