专栏名称: 阿里开发者
阿里巴巴官方技术号,关于阿里的技术创新均将呈现于此
目录
相关文章推荐
百度智能云  ·  应急管理“久安”大模型完成DeepSeek满 ... ·  昨天  
白鲸出海  ·  Supercell新作《MO.CO》今日全球 ... ·  昨天  
阿里开发者  ·  如何解决隐式内存占用难题? ·  昨天  
阿里开发者  ·  如何监控vLLM等大模型推理性能? ·  昨天  
白鲸出海  ·  靠游戏“Carry”语言学习App,吸量还赚钱? ·  2 天前  
51好读  ›  专栏  ›  阿里开发者

性能比肩最强开源,QwQ-32B一键部署,百万Token免费送!

阿里开发者  · 公众号  · 科技公司  · 2025-03-19 08:30

正文

阿里妹导读


本文介绍如何通过百炼平台调用QwQ-32B开源模型。百炼平台提供的标准化 API 接口,免去了自行构建模型服务基础设施的麻烦,并支持负载均衡及自动扩缩容,确保了 API 调用的高稳定性。此外,结合使用 Chatbox 可视化界面客户端,用户无需进行命令行操作,即可通过直观的图形界面轻松完成 QwQ 模型的配置与使用。

什么是QwQ-32B ?

3月6日,阿里云发布并开源了全新的推理模型通义千问QwQ-32B。通过大规模强化学习,千问QWQ-32B在数学、代码及通用能力上实现质的飞跃,整体性能比肩Deepseek-R1。在保持强劲性能的同时,千问QwQ-32B还大幅降低了部署使用成本, 其参数量约为 DeepSeek-R1 满血版的 1/21 且推理成本是后者的1/10。


在一系列权威基准测试中,千问QwQ-32B模型表现异常出色,几乎完全超越了OpenAI-o1-mini,比肩最强开源推理模型DeepSeek-R1: 在测试数学能力的AIME24评测集上,以及评估代码能力的LiveCodeBench中,千问QwQ-32B表现与DeepSeek-R1相当,远胜于o1-mini及相同尺寸的R1蒸馏模型;在由Meta首席科学家杨立昆领衔的“最难LLMs评测榜”LiveBench、谷歌等提出的指令遵循能力IFEval评测集、由加州大学伯克利分校等提出的评估准确调用函数或工具方面的BFCL测试中,千问QwQ-32B的得分均超越了DeepSeek-R1。此外, 千问QwQ-32B模型中还集成了与智能体Agent相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。

整体架构

本文介绍如何通过百炼平台调用QwQ-32B开源模型。百炼平台提供的标准化 API 接口,免去了自行构建模型服务基础设施的麻烦,并支持负载均衡及自动扩缩容,确保了 API 调用的高稳定性。此外,结合使用 Chatbox 可视化界面客户端,用户无需进行命令行操作,即可通过直观的图形界面轻松完成 QwQ 模型的配置与使用。

按照本方案提供的配置完成后,会在本地搭建一个如下图所示的运行环境。本方案的技术架构包括百炼模型服务:支持通过 OpenAI SDK 或 OpenAI 兼容的 HTTP 方式快速体验 QwQ 模型。

部署流程


一、获取百炼 API-KEY

1. 登录 阿里云百炼大模型服务平台 [1]。

2. 鼠标悬停于页面右上角的 图标上,在下拉菜单中单击 API-KEY

  1. 在左侧导航栏,选择全部API-KEY或我的API-KEY,然后创建或查看 API-KEY,最后复制 API-KEY 以便在下一步骤中使用。

(享有 100万 免费 token ,百炼新用户从开通起算 180 天内有效,百炼老用户从 3 月 6 日 0 点起算 180 天内有效。实际使用中可能会因超出免费额度而产生费用,请以控制台显示的实际报价以及最终账单为准。)

二、使用 Chatbox 客户端配置 百炼 API 进行对话







请到「今天看啥」查看全文