大模型专题：大规模语言模型中语言与知识报告

如何下载资料？

微信扫下方二维码加入星球平台

【老会员续费特惠】

今天分享的是：大模型专题：大规模语言模型中语言与知识报告

报告共计：47页

该报告主要探讨了大规模语言模型中语言与知识相关内容，包括多语言对齐、模型训练现象、语言与知识分区等方面。在多语言对齐方面，Multilingual BERT和大语言模型中都存在多语言在句法关系上的对齐现象，通过多语言模型预训练，多语言语义已完成对齐，且词性标注任务可通过跨语言训练取得高结果，但TOKEN扩展对模型影响大，使用中文二次预训练在知识层面提升模型能力有限，在低资源语言中表现类似。训练过程中存在CODING - SWITCH现象，大部分LLM迭代1轮后效果提升不明显。大语言模型参数中有明显语言核心区，通过对不同语言数据二次预训练并分析参数变化可确定，扰动核心区域会使PPL呈现爆炸趋势，模型具备一定“代偿”能力，仅修改1个参数就可能使模型混乱，二次预训练需注意数据配比，避免影响模型能力，针对少量数据多EPOCH训练会影响语言关键区域导致模型失效，微调时需注意保证关键区不被大幅调整。

以下为报告节选内容