专栏名称: 机器之心
专业的人工智能媒体和产业服务平台
目录
相关文章推荐
爱可可-爱生活  ·  【[18星]MPO:用Meta Plan ... ·  2 天前  
爱可可-爱生活  ·  【[97星]EXO Private ... ·  2 天前  
爱可可-爱生活  ·  《爱可可微博热门分享(3.6)》 ... ·  2 天前  
爱可可-爱生活  ·  【[117星]LLaMA ... ·  3 天前  
51好读  ›  专栏  ›  机器之心

全球首发:QwQ-32B本地一键部署、3090单卡可跑,共享算力成关键

机器之心  · 公众号  · AI  · 2025-03-07 17:03

主要观点总结

文章介绍了阿里开源的新一代推理模型QwQ-32B,其性能堪比DeepSeek-R1,并标志着大模型技术的新飞跃。该模型能在个人设备上运行,降低高性能大模型的部署门槛。文章还提到了利用闲时GPU算力资源的平台「算了么」,为用户提供便捷的一键部署方案,降低使用门槛,并实现算力普惠的目标。团队有着深厚的学术和技术背景,并在分布式资源调度领域有着丰富经验。

关键观点总结

关键观点1: 阿里开源新一代推理模型QwQ-32B

性能堪比DeepSeek-R1,展现大模型技术的飞跃,进入个人设备时代。

关键观点2: 模型部署的挑战和解决方案

高性能大模型的部署门槛高,面临多种挑战。平台「算了么」提供一键部署方案,降低使用门槛。

关键观点3: 「算了么」平台介绍

利用闲时GPU算力资源,「算了么」支持科学研究和AI推理,并提供免费API和Chat方式供用户试用。平台倡导算力普惠,通过共享资源解决算力不均衡问题。

关键观点4: 团队背景与目标

「算了么」团队拥有深厚的学术和技术背景,致力于构建开源、普惠、共赢的算力生态,让个人算力汇聚成推动AI发展的强大力量。


正文

机器之心发布
机器之心编辑部
个人设备进入最强模型时代。

仅仅过了一天,阿里开源的新一代推理模型便能在个人设备上跑起来了!

昨天深夜,阿里重磅开源了参数量 320 亿的全新推理模型 QwQ-32B,其性能足以比肩 6710 亿参数的 DeepSeek-R1 满血版。

基准测试数据显示,QwQ-32B 在数学推理、代码生成及通用任务处理能力上实现了显著突破,充分展现了强化学习应用于预训练基础模型的巨大潜力。

QwQ-32B 与原始 DeepSeek-R1、DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 的基准测试结果比较。

可以说,QwQ-32B 的开源不仅代表着大模型技术的又一次飞跃,更预示着「最强模型」走入个人设备的时代正式到来。

然而,这只是模型一侧的改进。对于大多数人来说,高性能大模型的部署门槛一直居高不下,常面临着「存不下、跑不动、散不了热、供不起电」等诸多挑战,是阻碍个人用户体验前沿技术的最大障碍。

不过大模型时代,技术的进步永远很快。

这不,一家利用闲时 GPU 算力资源支持科学研究和 AI 推理并获得收益的平台「算了么」,为普通用户体验并一键部署阿里最新推理模型提供了便捷途径。

备注:参照此一键部署 DeepSeek-32B 的视频,也可一键部署 QwQ-32B。

全球首发:3090 显卡跑 QwQ-32B 只需几步

此次, 「算了么」平台首个推出了 QwQ-32B 模型在个人电脑上的一键部署方案 ,只需简单几步即可轻松体验比肩 DeepSeek-R1 的强大推理能力。

这意味着,普通人也能分分钟把这几百亿参数的模型跑起来,完全不用懂代码,门槛极低。


实测数据显示,在消费级 RTX 3090 显卡上,QwQ-32B 模型的推理速度可达 30-40tokens/秒。流畅高效得到保证,可以完全满足日常使用场景。


当然,没有 90 系显卡的用户也无需担忧。

目前,「算了么」平台基于共享的资源,将 QwQ-32B 以 免费 API 和 Chat 的方式 提供给广大用户,欢迎试用!当然,平台也呼吁身边有 90 系显卡设备的同学,可以共享出来给更多人使用。


  • 免费 API 获取:qwq.aigpu.cn

  • 免费试用 Chatbot:aigpu.cn


开启个人算力共享新纪元

一键部署只是开胃菜,算力普惠是「算了么」平台想要实现的更长远目标。

作为国内领先的分布式算力共享平台,「算了么」通过一种全新的方法破解算力不均衡问题——其支持用户在部署模型之后,在空闲不用时选择将本地算力共享给社区的用户使用,并可以获取一定的积分收益。


一边是排队使用 GPU 的项目,另一边是大部分时间闲时的算力,一个平台解决两边的问题。这就是「算了么」平台一直以来的做法——降低算力使用门槛,释放个人设备潜能。

具体来讲,平台利用动态闲时资源,构建安全稳定的分布式计算网络,目前已经接入超万台个人电脑、数十万台网吧的闲时算力资源,为灵活、临时的弹性算力需求提供安全、稳定、低价的算力服务。

此前已有非常成功的落地案例,2024 年 10 月,「算了么」平台利用百余台共享个人电脑设备,为清华大学 AI 课堂上的 100 多位学生提供了长达 2 个多小时的在线稳定算力服务。此举不仅验证了弹性共享算力的可行性和稳定性,也为未来普惠 AI 教育、算力生态建设提供了典型示范样本。


平台官网:suanleme.cn

团队介绍

「算了么」团队拥有深厚的学术和技术背景,核心成员来自清华大学、北京大学以及 Intel、字节跳动等知名企业。

团队在分布式资源调度领域深耕多年,曾获 2024 年中国国际大学生创新大赛亚军(金奖,创业组冠军),并已获得奇绩创坛、水木创投等知名机构的投资。







请到「今天看啥」查看全文