本文主要介绍了阿里云通义千问新发布的开源模型Qwen2.5系列,包括语言模型、多模态模型以及针对编程和数学的专项模型。该系列模型在开源社区中引起了广泛关注,并且取得了显著的进步。文章还介绍了通义千问在开源方面的努力,包括与合作伙伴共建生态,降低模型使用门槛,以及为企业客户提供闭源API调用等服务。同时,文章也提到了开源和闭源之争,指出阿里云通义以开放为核心,一直留在牌桌上。
Qwen2.5系列包括语言模型、多模态模型以及针对编程和数学的专项模型,在模型性能上有了显著的提升。该系列模型支持多种尺寸、多种语言、多种专项和多种模态能力。
阿里云通义在开源方面做出了很大努力,通过开源社区生态与合作伙伴共建,让开发者更容易使用Qwen系列模型。同时,也为企业客户提供闭源API调用等服务。
文章提到开源和闭源之争,指出阿里云通义以开放为核心,一直留在牌桌上。开放与闭源的选择应该由市场需求而定,而不是由大模型厂商来选择。
对国外开发者们来说,今天是一个特殊的“疯狂星期四”!
周四还没来,就有开发者在社交媒体平台上翘首以盼;
已经要睡觉的日本网友,半夜爬起来测试竞技场;
甚至有人直呼今天是“疯狂星期四”!
没错,一切都是因为,Qwen2.5开源了,而且一口气上架了100多个模型!
9月19日云栖大会,阿里云CTO周靖人发布通义千问新一代开源模型Qwen2.5系列,包括语言模型 Qwen2.5,多模态模型Qwen2-VL,以及专门针对编程的 Qwen2.5-Coder 和数学模型 Qwen2.5-Math。
2023年8月开始,Qwen系列开始逐渐开源,不到一年内,从1.0逐步升级到2.5,完成了四次重大迭代,从今年年初到现在持续霸榜,开发者们更是将这一次开源,称为“史诗级开源”。
甚至网友辣评:这才是真正的“Open AI”。
在开发者眼里,他们称Qwen系列为:Big Boy。因为他实在是“太直男了”!把最好的模型、最全尺寸的模型、最强的专项模型全部拿出来开源。
没有技巧,全是直给。海外有开发者评价说:Qwen才是最open的AI。
先来看模型效果。
在MMLU-redux等十多个基准测评中,Qwen2.5-72B“以小博大”,单挑Llama3.1-405B,用不到1/5的参数实现了大参数模型的效果,甚至在某些性能指标上表现更优。
而这对于独立开发者来说至关重要,405B虽然香,但放眼全国恐怕没几个开发者用得起。用更小的内存达到更好的模型效果,降低成本的同时,让大规模部署和应用开发成为可能。
那么问题来了,2.5版本怎么做到大幅度的性能提升?
据硅星人了解,Qwen2.5全系列模型所有尺寸模型都在最新的大规模数据集上进行了预训练,该数据集包含多达18T tokens。相比于Qwen2,Qwen2.5整体性能提升18%以上,拥有更多的知识、更强的编程和数学能力。Qwen2.5-72B模型在MMLU-rudex基准(考察通用知识)、MBPP基准(考察代码能力)和MATH基准(考察数学能力)的得分高达86.8、88.2、83.1。
Qwen2.5模型支持高达128K tokens的上下文长度,可生成最多8K tokens内容,支持中文、英文、法文、西班牙文等29种以上语言。
此外,Qwen2.5模型在指令执行、生成长文本、理解结构化数据以及生成结构化输出方面取得了显著进步,总体对于各种System prompt更具适应性,增强了角色扮演实现和聊天机器人的条件设置功能。
从测试结果来看,Qwen2.5明显有了逻辑思考和推理能力,对语言的理解更加准确,逻辑思考过程也更清晰。
在开源方面,Qwen更是做到了能开尽开,Qwen2.5大语言模型
开源了0.5B、1.5B、3B、7B、14B、32B、72B七个尺寸,包含Base版本、Instruct(指令跟随)版本和各种量化版本。
型号设定充分考虑了下游场景的不同需求,新增了3B、14B和32B的模型。其中3B是适配手机等端侧设备的黄金尺寸;32B是最受开发者期待的“性价比之王”,在性能和功耗之间获得最佳平衡,以更小的模型参数做到更强的效果。经测试,Qwen2.5-32B的整体表现超越了Qwen2-72B。
更重要的是,开发者的需求Qwen是真听了。
在Qwen2.0时,开发者就强烈呼吁32B模型以及GGUF模型,在新的2.5版本中,Qwen就开源了GGUF、GPTQ和AWQ 3种量化模型,让开发者不用再苦等Llama,提供更多模型选择。
除了通用模型,Qwen2.5系列也开源了更强的专项模型。其中,用于编程的 Qwen2.5-Coder 开源了1.5B、7B两个版本(32B版本也在开发中了),基于Qwen2.5模型初始化,
持续训练5.5T Tokens
,包括源代码、文本代码混合数据、合成数据等,使即使较小的编程专用模型也能在编程评估基准测试中表现出媲美大型语言模型的竞争力。
用于数学的Qwen2.5-Math开源了1.5B、7B、72B三个版本,利用
Qwen2-Math-72B-Instruct模型合成更多高质量的数学预训练数据
,支持使用思维链和工具集成推理(TIR) 解决中英双语的数学题。
硅星人对Math模型进行了地狱难度的测试,我们将Math模型和OpenAI 刚刚开放的o1进行对比,要知道相比于GPT-4o,o1的数学竞赛能力要明显高出很多。
我们将同一道AIME(美国数学邀请赛)难题给Qwen2.5-Math和o1同时回答,这道题在o1出现之前,只有DeepMind的专业模型能够回答正确,其他通用大模型几乎全军覆没。
测试结果显示,o1用了15s时间思考作答,而Qwen2.5-Math用了29秒,二者分别使用了两种不同的解法,但答案都正确。
左边o1,右边Qwen2.5-Math
在此之上,Qwen 系列也在逐渐释放多模态能力,视觉语言模型Qwen2-VL-72B正式开源,该模型能够识别不同分辨率和长宽比的图片,理解20分钟以上长视频,具备自主操作手机和机器人的视觉智能体能力。
此前权威测评LMSYS Chatbot Arena Leaderboard发布最新一期的视觉模型性能测评结果,Qwen2-VL-72B成为全球得分最高的开源模型。
种类多得像逛集市?
来总结一下:基模层面,Qwen2.5大幅度提高了模型性能,囊括了多尺寸、多语言、多种类、多专项模型,还增加了多模态的视觉能力,不得不说,Qwen2.5还是太全面了!
开源了这么多,真的被开发者用起来了吗?