深圳大学计算机视觉研究所项目登上GitHbub热榜，低成本实现中文预训练LLM

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ”

重磅干货，第一时间送达

来源 | Github、zhihu

【导读】 大规模语言模型（LLM）是许多NLP任务的通用底座，然而目前的预训练模型通常针对单一或少数语言进行预训练，即使是多语言模型（例如GPT-NeoX）也会在预训练数据上偏袒英文语料造成不同语言上的性能不均衡。以Meta训练的LLaMA为例，它在英文上达到了接近GPT3的性能，而在中文上的表现相差甚远。对于大多数研究者都难以承受在中文上从头训练一个LLM基础模型的成本，而将已有的模型迁移到中文上是更可行的选择。

在本文中，深圳大学计算机视觉研究所团队尝试以非中文的预训练模型为基础，使用少量数据和计算量“撬动”模型的语言能力转向中文，以较低的成本实现中文预训练LLM。 他们的假设是，用中英文平行语料微调模型，能够对齐模型中英文在高维空间的表示，从而将模型在英文上的强大语言能力迁移到中文。

项目向社区提供 中文对话模型 Linly-ChatFlow 、中文基础模型 Linly-Chinese-LLaMA 及其训练数据 。

模型基于 TencentPretrain 多模态预训练框架构建， 将陆续开放 7B、13B、33B、65B 规模的中文模型权重。

Linly-ChatFlow 支持简繁体中文、英文、日文等多语言。LLaMA 在预训练阶段主要使用英文，为了将其语言能力迁移到中文上，首先进行中文增量预训练， 使用的语料包括中英平行语料、中文维基、社区互动、新闻数据、科学文献等。再通过 Alpaca 指令微调得到 Linly-ChatFlow。

• 中英平行语料： https://statmt.org/wmt18/translation-task.html#download

• 中文维基、社区互动、新闻数据： https://github.com/CLUEbenchmark/CLUECorpus2020

• 科学文献： https://github.com/ydli-ai/CSL

• 通过 Full-tuning （全参数训练）获得中文模型权重，提供 TencentPretrain 与 HuggingFace 版本

• 汇总中文开源社区指令数据，提供目前最大的中文 LLaMA 模型

• 模型细节公开可复现，提供数据准备、模型训练和模型评估完整流程代码

• 多种量化方案，支持 CUDA 和边缘设备部署推理

中文预训练语料 ： https://github.com/CVI-SZU/Linly/blob/main/corpus/README.md

中文指令精调数据集： https://github.com/CVI-SZU/Linly/blob/main/instructions/README.md

模型量化部署： https://github.com/fengyh3/llama_inference

领域微调示例： https://github.com/CVI-SZU/Linly#todo-list

• [2023/4/21] 🚀 正式发布 Linly-ChatFlow-13B 对话模型、Linly-Chinese-LLaMA-33B 中文基础模型

• [2023/4/17] llama_inference 更新 8-bit 量化推理和微服务部署，大幅度提升推理速度并降低内存消耗

• [2023/4/8] TencentPretrain 现已支持 LoRA 训练和 DeepSpeed Zero-3 Offload 流水线并行

• [2023/4/1] 更新 4-bit 量化版本 Linly-ChatFlow 模型权重，支持 llama.cpp 高速推理

• [2023/3/28] 开放基于 LLaMA 的中文对话模型 Linly-ChatFlow-7B ， 技术博客

• 模型下载

• 快速开始

• 模型训练

• 生成示例

• 局限性

• 中文预训练/指令数据集

• 交流和问题反馈

• TODO-List

• License

• Contributors

模型下载

使用须知

模型权重基于 GNU General Public License v3.0 协议，仅供研究使用，不能用于商业目的。请确认在已获得许可的前提下使用本仓库中的模型。

7B ：基础模型 Linly-Chinese-LLaMA-7B ｜ 对话模型 Linly-ChatFlow-7B ｜ int4量化版本 Linly-ChatFlow
13B ：基础模型 Linly-Chinese-LLaMA-13B ｜ 对话模型 L inly-ChatFlow-13B 🔥
33B ： 33B 基础模型
65B ：训练中

HuggingFace模型
7B 基础模型 | 13B 基础模型 ｜ 33B 基础模型
7B 对话模型 | 13B 对话模型

训练情况

模型仍在迭代中，每周更新一次新版模型权重。

快速开始

下载预训练 ChatFlow 权重，安装依赖，测试环境: py3.8.12 cuda11.2.2 cudnn8.1.1.33-1 torch1.9.0 bitsandbytes0.37.2

git lfs installgit clone https://huggingface.co/P01son/Linly-ChatFlow-7Bgit clone https://github.com/fengyh3/llama_inference.git
cd llama_inference vi beginning.txt  #编辑用户输入，例如"上海有什么好玩的地方？"
python3 llama_infer.py --test_path prompts.txt --prediction_path result.txt  \                      --load_model_path ../Linly-ChatFlow-7B/chatflow_7b.bin  \                      --config_path config/llama_7b_config.json \                      --spm_model_path ../Linly-ChatFlow-7B/tokenizer.model --seq_length 512

多轮对话

python3 llama_dialogue.py --seq_length 512 --top_k 10   \                      --load_model_path ../Linly-ChatFlow-7B/chatflow_7b.bin  \                      --config_path ./config/llama_7b_config.json \                      --spm_model_path ../Linly-ChatFlow-7B/tokenizer.model

Int8 推理加速

python3 llama_infer.py --test_path prompts.txt --prediction_path result.txt  \                      --load_model_path ../Linly-ChatFlow-7B/chatflow_7b.bin  \                      --config_path config/llama_7b_config.json \                      --spm_model_path ../Linly-ChatFlow-7B/tokenizer.model --seq_length 512 --use_int8

微服务部署

安装依赖：flask

python3 llama_server.py --load_model_path ../Linly-ChatFlow-7B/chatflow_7b.bin  \                        --config_path config/llama_7b_config.json \                        --spm_model_path ../Linly-ChatFlow-7B/tokenizer.model --seq_length 512
curl -H 'Content-Type: application/json' http://127.0.0.1:8888/chat -d '{"question": "北京有什么好玩的地方？"}'

Int4 CPU本地部署

将 Int4 量化后的模型权重部署在本地使用CPU推理。

git lfs installgit clone https://github.com/ggerganov/llama.cpp.gitgit clone https://huggingface.co/P01son/Linly-ChatFlow-7B-int4
cd llama.cppmake./main -m ../Linly-ChatFlow-7B-int4/chatflow-ggml-q4_0.bin -p "北京有什么好玩的地方？\n" -n 256

模型训练

安装依赖，测试环境: py3.8.12 cuda11.2.2 cudnn8.1.1.33-1 nccl2.10.3 deepspeed0.8.3 torch1.9.0

使用 TencentPretrain 训练：

git clone https://github.com/Tencent/TencentPretrain.gitcd TencentPretrain
#将 tencentpretrain/utils/constants.py 文件中 L4: special_tokens_map.json 修改为 llama_special_tokens_map.json

中文增量预训练

准备模型权重

以 7B 模型为例，首先下载预训练LLaMA权重，转换到TencentPretrain格式：

python3 scripts/convert_llama_from_huggingface_to_tencentpretrain.py --input_model_path $LLaMA_HF_PATH \                       --output_model_path  models/llama-7b.bin --type 7B

也可以下载 基础模型 Linly-Chinese-LLaMA-7B 进行增量训练，不需要转换格式。

预处理

下载 中文预训练语料 ，

python3 preprocess.py --corpus_path $CORPUS_PATH --spm_model_path $LLaMA_PATH/tokenizer.model \




    
                      --dataset_path $OUTPUT_DATASET_PATH --data_processor lm --seq_length 512

预训练

deepspeed pretrain.py --deepspeed --deepspeed_config models/deepspeed_zero3_config.json --enable_zero3 \                      --pretrained_model_path models/llama-7b.bin \                      --dataset_path $OUTPUT_DATASET_PATH --spm_model_path $LLaMA_PATH/tokenizer.model \                      --config_path models/llama/7b_config.json \                      --output_model_path models/llama_zh_7b \                      --world_size 8 --data_processor lm  --deepspeed_checkpoint_activations \                      --total_steps 300000 --save_checkpoint_steps 5000 --batch_size 24

中文指令学习

构建指令数据集并预处理：

python3 preprocess.py --corpus_path $INSTRUCTION_PATH --spm_model_path $LLaMA_PATH/tokenizer.model \                      --dataset_path $OUTPUT_DATASET_PATH --data_processor alpaca --seq_length 512

指令微调

deepspeed pretrain.py --deepspeed --deepspeed_config models/deepspeed_zero3_config.json --enable_zero3 \                      --pretrained_model_path models/llama_zh_7b.bin \                      --dataset_path $OUTPUT_DATASET_PATH --spm_model_path $LLaMA_PATH/tokenizer.model \                      --config_path models/llama/7b_config.json \                      --output_model_path models/chatflow_7b \                      --world_size 8 --data_processor alpaca  --deepspeed_checkpoint_activations \                      --total_steps 20000 --save_checkpoint_steps 2000 --batch_size 24

生成示例

• 常识推理

• 逻辑推理
  

更多请看 【阅读原文】

Linly-ChatFlow 完全基于社区开放语料训练，内容未经人工修正。受限于模型和训练数据规模，Linly-ChatFlow 目前的语言能力较弱，仍在不断提升中。目前， 已经观察到 Linly-ChatFlow 在多轮对话、逻辑推理、知识问答等场景具有明显缺陷，也可能产生带有偏见或有害内容。

此外，由于增量训练和指令精调阶段使用了相同的预训练目标（causal LM），该团队发现在一些情况下模型会续写指令（例如，语义理解-Q4-13B），将在下个版本解决这一问题。

基于TencentPretrain预训练框架，该团队进行了以下实验：

1. 基于LLaMA-7B权重在中文数据上进行无监督增量预训练。使用的数据包含各种中文百科、社区互动、翻译语料和科学文献数据，在32 * A100 40G GPU 上以 2e-4 学习率，3072 batch_size，训练一万步，得到LLaMA-7B-zh。

2. 在中文预训练权重LLaMA-7B-zh上，使用已有的指令数据集的集合进行指令微调，数据集以及预处理代码整理在Chinese-instruction-dataset。学习率为2e-5，训练2000步，最终得到Chat-LLaMA。