微软推出的用于1bit大型语言模型推理的官方框架BitNet

项目简介

bitnet.cpp 是 1 位LLMs （例如 BitNet b1.58）的官方推理框架。它提供了一套优化的内核，支持 CPU 上 1.58 位模型的 快速 无损 推理（接下来将支持 NPU 和 GPU）。

bitnet.cpp 的第一个版本是支持 CPU 上的推理。bitnet.cpp 在 ARM CPU 上实现了 1.37 倍 到 5.07 倍 的加速，较大的模型获得了更大的性能提升。此外，它还能将能耗降低 55.4% 至 70.0% ，进一步提高整体效率。在 x86 CPU 上，加速范围为 2.37 倍 至 6.17 倍 ，能耗降低 71.9% 至 82.2% 。此外，bitnet.cpp 可以在单个 CPU 上运行 100B BitNet b1.58 模型，实现与人类阅读相当的速度（每秒 5-7 个令牌），从而显着增强在本地设备上运行LLMs的潜力。更多详情请参阅技术报告。

The tested models are dummy setups used in a research context to demonstrate the inference performance of bitnet.cpp.
测试的模型是在研究环境中使用的虚拟设置，用于演示 bitnet.cpp 的推理性能

支持模型

❗️ 我们使用Hugging Face上现有的 1 位LLMs来演示 bitnet.cpp 的推理功能。这些模型既不是由微软训练也不是由微软发布的。我们希望 bitnet.cpp 的发布能够在模型大小和训练代币方面激发大规模环境中 1 位LLMs的开发。

安装

要求

• python>=3.9

• cmake>=3.22

• clang>=18

• 使用 C++ 进行桌面开发

• 适用于 Windows 的 C++-CMake 工具

• Git for Windows 适用于 Windows 的 Git

• 适用于 Windows 的 C++-Clang 编译器

• MS-Build 对 LLVM 工具集的支持 (clang)

• 对于 Windows 用户，请安装Visual Studio 2022 。在安装程序中，至少打开以下选项（这也会自动安装所需的附加工具，例如 CMake）：

• 对于 Debian/Ubuntu 用户，您可以使用自动安装脚本进行下载

  bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"