自 3 月 14 日开源以来，ChatGLM-6B 模型广受各位开发者关注。截止目前仅 Huggingface 平台已经有 32w+ 下载，Github Star 数量超过 11k。
为了促进 ChatGLM-6B 模型在各垂直领域的应用，我们现推出基于 P-Tuning v2 的微调方案。
https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning
（或点击“阅读原文”查看）
P-Tuning v2 将需要微调的参数量减少到原来的 0.1%，再通过模型量化、Gradient Checkpoint 等方法，最低只需要 7GB 显存即可运行。
下面以 ADGEN（广告生成）数据集为例介绍代码的使用方法。
除 ChatGLM-6B 的依赖之外，还需要按照以下依赖：
pip install rouge_chinese nltk jieba datasets
ADGEN 数据集任务为根据输入（content）生成一段广告词（summary）：
{ "content": "类型#上衣*版型#宽松*版型#显瘦*图案#线条*衣样式#衬衫*衣袖型#泡泡袖*衣款式#抽绳", "summary": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。领口装饰了一个可爱的抽绳，漂亮的绳结展现出了十足的个性，配合时尚的泡泡袖型，尽显女性甜美可爱的气息。"}
从 Google Drive 或者 Tsinghua Cloud 下载处理好的 ADGEN 数据集，将解压后的 AdvertiseGen 目录放到本目录下：
Google Drive：https://drive.google.com/file/d/13_vf0xRTQsyneRKdD1bZIr93vBGOczrk/viewTsinghua Cloud：https://cloud.tsinghua.edu.cn/f/b3f119a008264b1cabd1/?dl=1
train.sh
中的
PRE_SEQ_LEN
和
LR
分别是 soft prompt 长度和训练的学习率，可以进行调节以取得最佳的效果。
P-Tuning-v2 方法会冻结全部的模型参数，可通过调整
quantization_bit
来被原始模型的量化等级，不加此选项则为 FP16 精度加载。
在默认配置
quantization_bit=4
、
per_device_train_batch_size=1
、
gradient_accumulation_steps=16
下，INT4 的模型参数被冻结，一次训练迭代会以 1 的批处理大小进行 16 次累加的前后向传播，等效为 16 的总批处理大小，此时最低只需 6.7G 显存。
若想在同等批处理大小下提升训练效率，可在二者乘积不变的情况下，加大
per_device_train_batch_size
的值，但也会带来更多的显存消耗，请酌情调整。
将
evaluate.sh
中的
CHECKPOINT
更改为训练时保存的 checkpoint 名称，运行以下指令进行模型推理和评测：
评测指标为中文 Rouge score 和 BLEU-4。生成的结果保存在：
./output/adgen-chatglm-6b-pt-8-1e-2/generated_predictions.txt
Input:
类型#上衣*材质#牛仔布*颜色#白色*风格#简约*图案#刺绣*衣样式#外套*衣款式#破洞
Label:
简约而不简单的牛仔外套，白色的衣身十分百搭。衣身多处有做旧破洞设计，打破单调乏味，增加一丝造型看点。衣身后背处有趣味刺绣装饰，丰富层次感，彰显别样时尚。
Output[微调前]:
这件上衣的材质是牛仔布，颜色是白色，风格是简约，图案是刺绣，衣样式是外套，衣款式是破洞。
Output[微调后]:
这是一款简约的牛仔外套，破洞设计，将牛仔布破洞，带来一种随意与个性。破洞的牛仔外套，展现出时尚气息，带来一种休闲感。同时，刺绣图案，让整件外套更加立体。
