专栏名称: OSC开源社区
OSChina 开源中国 官方微信账号
目录
相关文章推荐
OSC开源社区  ·  小米有格局——官方正式开源「Home ... ·  3 天前  
OSC开源社区  ·  操作系统能知道自己是在虚拟机中运行的吗? ·  2 天前  
程序员小灰  ·  字节这薪资,真舍得给! ·  3 天前  
码农翻身  ·  我承认,我低估小红书了 ! ·  3 天前  
OSC开源社区  ·  动态链接的魔法:Linux下动态链接库机制探讨 ·  5 天前  
51好读  ›  专栏  ›  OSC开源社区

全球5万衍生模型,阿里通义造出开源雨林

OSC开源社区  · 公众号  · 程序员  · 2024-09-20 15:55

正文

阿里通义大模型又又又开源了。
2024云栖大会,通义发布新一代开源模型Qwen2.5并且首次公布开源生态数据。全球已有5万多个基于Qwen二次训练的衍生模型,仅次于美国开源模型Llama(7万左右衍生模型)。

进入开源世界一年多,中国大模型造出了自己的开源雨林。


Qwen2.5-72B,硬刚Llama3.1-405B


通义新一代开源模型Qwen2.5,又给AI圈带来一点小小震撼。

首先是性能水平。Qwen2.5旗舰模型Qwen2.5-72B刷新开源性能天花板,其指令跟随版本Qwen2.5-72B-Instruct在MMLU-redux、MATH、MBPP等基准测评中,以不到1/5的参数获得超越Llama3.1-405B的成绩。


在MMLU-redux等十多个基准测评中,Qwen2.5-72B表现超越Llama3.1-405B

两个月前Meta开源Llama3.1-405B,不仅贡献了性能无敌的巨无霸,更是制造了AI圈新共识:开源超越闭源。

Llama3.1-405B在很多任务中都可与GPT-4o、Claude 3.5 Sonnet等顶级闭源模型一战。

Qwen也有同样发展趋势。三个月前发布的Qwen2-72B,性能超越文心4.0、豆包pro、混元pro等中国闭源模型,也胜过了当时最先进开源模型Llama3-70B。

Qwen2-72B在Hugging Face的开源大模型榜单Open LLM Leaderboard一举登顶,Hugging Face联合创始人兼CEO Clem发文:“Qwen2是王者,中国在全球开源大模型领域处于领导地位。”

Qwen2-72B在HuggingFace的开源大模型榜单Open LLM Leaderboard一举登顶
HuggingFace CEO Clem:Qwen2是王者,中国在全球开源大模型领域处于领导地位

而这一次,Qwen2.5又比Qwen2更胜一筹,整体性能提升18%左右。Qwen2.5-72B对同级尺寸的Llama3-70B实现性能完胜,甚至直接“越级”硬刚405B。

开源两强相争,最高兴的是开发者。405B虽然强悍,但很少有小企业和个人开发者用得起。通义千问把顶级模型的使用成本打了下来。


百模上架,最小模型都学了18T数据


通义带来的第二重震撼是模型数量。Qwen2.5全系列涵盖多个尺寸的大语言、多模态、数学和代码模型,每个尺寸又有基础版本、指令跟随版本、多种量化版本,总计上架100多个模型,刷新业界纪录。

语言模型方面,Qwen2.5开源了7个尺寸,0.5B、1.5B、3B、7B、14B、32B、72B,全部都在18T tokens数据上进行预训练,数据量超过了Llama3的15T。这些模型在同等参数赛道都创造了业界最佳成绩。

通义团队介绍,Qwen2.5的型号设定充分考虑下游场景的不同需求,比如3B是适配手机等端侧设备的黄金尺寸;32B是最受开发者期待的“性价比之王”,可在性能和功耗之间获得最佳平衡,Qwen2.5-32B的整体表现超越了上一代的Qwen2-72B。

专项模型方面,代码模型Qwen2.5-Coder 在多达5.5T tokens 的编程相关数据上作了训练;数学模型Qwen2.5-Math支持使用思维链和工具集成推理(TIR) 解决中英双语的数学题,是迄今为止最先进的开源数学模型系列。

多模态模型方面,视觉语言模型Qwen2-VL-72B能识别不同分辨率和长宽比的图片,理解20分钟以上长视频,具备自主操作手机和机器人的视觉智能体能力。日前权威测评LMSYS Chatbot Arena Leaderboard发布最新一期的视觉模型性能测评结果,Qwen2-VL-72B成为全球得分最高的开源模型。


5万衍生模型,Qwen成了开发者首选


阿里云CTO周靖人公布了一张曲线图,全球三大开源模型家族Llama、Qwen、Mistral的衍生模型数量。截至9月中旬,Qwen系列的累计下载数据超过4000万,全世界的开发者又在Qwen的基础上二次训练了5万多个新模型,也就是Qwen的衍生模型。 

全球三大开源模型族群的衍生模型数量,数据来自Hugging Face

排名第一的Llama拥有将近7万衍生模型,Mistral的数据是2.5万左右,排名第三。三个世界级模型群分别产自美国、中国、欧洲,与全球大模型的整体格局形成某种有趣的映照。

通义在开源大模型圈可以说是先发后至。

2023年8月通义首次开源,中国大模型市场处在“百模大战”时期,Qwen不过是平平无奇的“百模”之一,在海外的大模型核心竞争圈更是没有认知。

海外开发者对Qwen2模型的评价

一年之后,“百模”战局趋于收敛,有人离场、有人停滞,有人继续逆水行舟。通义是为数不多仍在坚定开展基模攻坚的大模型团队。

一年间,通义的开源模型有过四次大型迭代,日拱一卒,从2023年12月的Qwen-72B开始,逐步走进世界大模型竞争腹地,成为众多权威榜单的“登顶”常客。

基模的下游是应用,在中国的应用市场,通义是开发者的首选模型。金沙江创投主管合伙人朱啸虎就曾在多个场合提到,“在很多场景下,国内开源模型不比闭源模型差,完全足够支撑中国AI应用的发展。阿里的通义千问比Llama 3要还强,所以很多创业公司都是拿它来训练自己的垂直模型。”

Qwen的这片生态雨林,可能就是中国大模型对开源社区和AI技术最重要的贡献。