热门开源大模型集合！

自2022年年底ChatGPT的火爆出圈以来，大模型开发的热潮如雨后春笋般涌现，推动了人工智能技术的飞速发展。本文旨在收集并介绍近两年大热的开源大语言模型，为开发者提供一个快速了解并认识最新、最热大模型的窗口。

此外，趋动云『社区项目』已经成功引入了多款热门的大语言模型，诚邀广大开发者前来体验与探索。

Llama

Llama 1 在 2023 年 2 月发布，参数量分别有7B、13B、30B 和 65B 四个版本。

同年 7 月发布了 Llama 2，参数量分别有 7B、13B、34B 和 70B 四个版本。相较于一代，二代将预训练的语料 token 数量扩充到了 2T（万亿），同时将模型的上下文长度从 2048 翻倍到了 4096，并引入分组查询注意力机制（grouped-query attention, GQA）技术，更好的权衡了最佳性能最佳性能(multi-query attention，MQA)和最佳模型质量(multi-head attention，MHA)之间的关系。

基于二代，8月份又发布了专注于代码生成的CodeLlama，参数量分别有 7B、13B、34B 和 70B 四个版本。

今年 4 月份，发布了 Llama 3，包括 8B 和70B 两个参数量版本。相比二代，三代支持 8K 长文本，并采用了编码效率更高的 tokenizer，词表的大小为 128K。token 的语料库超过 15T，超二代 7 倍还多。

开源团队：Meta

参考文献：

• Llama 1论文：https://arxiv.org/pdf/2302.13971
• Llama 1代码：https://github.com/meta-llama/llama
• Llama 2论文：https://arxiv.org/abs/2307.09288
• Llama 3代码：https://github.com/meta-llama/llama3

趋动云『社区项目』中相关项目体验教程：

• 一键部署 Meta新开源【Llama3.1-70B-Instruct】聊天
• 一键部署 【Llama-3.1-8B-Instruct】Llama Factory

Gemma

Gemma 是今年年初谷歌开源的一个小尺寸大语言模型，参数量有 2B 和 7B 两个版本，亮点是与自家最强的大模型 Gemini 共享同一套技术。

年中，又推出 Gemma 2，提供两种规模参数版本：9B 和 27B，每种规模又分为预训练基础版和指令调优版，总共四个版本。其中，27B 模型经过训练处理了 13 万亿个 tokens，而 9B 模型则是 8 万亿个 tokens。

相较于一代，Gemma 2在性能上有了显著提升，而部署要求却大幅降低。

参考文献：

• gemma-2b：https://huggingface.co/google/gemma-2b
• gemma-7b：https://huggingface.co/google/gemma-7b
• gemma-2-2b：https://huggingface.co/google/gemma-2-2b
• gemma-2-9b：https://huggingface.co/google/gemma-2-9b

趋动云『社区项目』中相关项目体验入口：

• 【Gemma2-2B-it】谷歌小模型 轻量级的小型巨人：https://open.virtaicloud.com/web/project/detail/477027980988674048

Qwen

Qwen(通义千问)是阿里开发的大语言模型，自 2023 年 4 月开放测试，8 月开源 7B 模型，12 月开源 72B；

至 2024 年 3 月开放了 Qwen1.5-32B，6 月开放 Qwen2，9 月开放 Qwen2.5，额外增加了 3B、14B 和 32B 参数量版本，

最大限度兼顾性能、效率和内存占用的平衡，Qwen 系列的不断更新，为开源社区做出了贡献。

参考文献：

• Qwen 1论文：https://arxiv.org/pdf/2309.16609
• Qwen 1代码：https://github.com/QwenLM/Qwen
• Qwen 2论文：https://arxiv.org/pdf/2407.10671
• Qwen 2.5代码：https://github.com/QwenLM/Qwen2.5

趋动云『社区项目』中相关项目体验入口：

• 【Qwen-2.5-3B】甄嬛语气 LoRA 微调：https://open.virtaicloud.com/web/project/detail/495455094385659904
• 【Qwen2.5-LLM】扩展大型语言模型的边界：https://open.virtaicloud.com/web/project/detail/494408714095894528
• 【Qwen2-Audio-7B-Instruct】对话式AI突破，让你“声”临其境：https://open.virtaicloud.com/web/project/detail/478841736102936576

InternLM

2023 年 9 月上海 AI Lab 发布 InternLM-20B，包括 base+chat 两版，同年 12 月更新了 InternLM-7B-Chat 和 InternLM-20B-Chat 模型权重。

2024 年 1 月相继发布了

• InternLM2-7B 和 InternLM2-20B，base+chat；
• InternLM2-Math-7B 和 InternLM2-Math-20B，用于数理逻辑推理，超过ChatGPT；
• InternLM2-1.8B：轻量模型发布，base+chat。

3 月发布 InternLM2 技术报告；
6 月发布 InternLM2.5-7B、InternLM2.5-7B-Chat 和 InternLM2.5-7B-Chat-1M；
7 月发布了 1.8B、7B 和 20B 大小的 InternLM2-Reward 系列奖励模型；
8 月发布了 InternLM2.5-1.8B、InternLM2.5-1.8B-Chat、InternLM2.5-20B 和 InternLM2.5-20B-Chat。

参考文献：

• InternLM2 论文：https://arxiv.org/abs/2403.17297
• 开源地址：https://github.com/InternLM/InternLM
• huggingface：https://huggingface.co/collections/internlm/internlm25-66853f32717072d17581bc13

Baichuan

Baichuan 是百川智能开发的一个开源可商用的大规模预训练语言模型，支持中英双语，上下文窗口长度为 4096。首先开放了 Baichuan-7B 版，随后更新了 Baichuan-13B 版，该版本训练语料 tokens 达 1.4 万亿 ，超过 LLaMA-13B 40%。

至 Baichuan 2 版中，训练语料 tokens 达 2.6 万亿，发布版本包括Base(7B、13B)、Chat(7B、13B)和Chat-4bits(7B、13B)。

参考文献：

• Baichuan-7B：https://github.com/baichuan-inc/Baichuan-7B