专栏名称: 商汤科技SenseTime

商汤科技是国家科技部授予的“智能视觉”人工智能开放创新平台，以“坚持原创，让AI引领人类进步”为使命和愿景，建立并打造全球领先的深度学习平台和超算中心，并研发一系列AI技术。关注商汤科技SenseTime，与我们一同拥抱AI大时代。

小比大好？商汤发布业内最快推理速度「日日新 5.0 端侧大模型」，性能跨级领先

商汤科技SenseTime · 公众号 · · 2024-04-28 18:49

正文

现在，就是AI大模型在端侧应用的春天！

无论全球芯片巨头，还是“AI手机”、“AIPC”厂商们，都在发力 AI大模型的端侧应用 。

是什么让大家蜂拥而至？

4月23日「商汤技术交流日」上，商汤科技董事长兼CEO徐立用一段街霸小视频讲出了其中道道：

红色KEN是商汤日日新端侧模型操纵，绿色KEN是GPT-4操纵。对战开始绿色KEN略占上风，但红色KEN出拳速度更快，各种连招打到绿色KEN反应不过来，最终取胜。这个对比表达的并不是模型能力强弱，而是体现了不同使用场景下端侧模型决策速度更快，它不需要云端大模型的漫长等待，直接在设备上给出答案，速度飞起

“天下武功，唯快不破”

当数十亿个端侧设备都在不停地调用云端大模型，估计没有任何一个服务器受得了。因此，能够提供即时推理决策的端侧能力是AI大模型进一步提高应用渗透率的关键。

来看看我们的主角： 商汤「日日新 5.0 端侧大模型」

它有多优秀？

性能实现同等尺度性能最优，跨级尺度全面领先。

BenchMark成绩显示，「日日新 5.0 端侧大模型」SenseChat-Li te 1.8B 全面领先所有开源2B同级别模型 ，甚至在大部分测试中 跨级击败了Llama2-7B、13B模型 。

同时，在实际应用中，为进一步提高各类终端任务处理灵活性，它还引入 端云联动的MoE框架 ，可针对不同行业应用设置不同的云端联动配比，在性能、速度和成本间取得平衡，获得最佳推理效果。

▎ AI大 模型 端侧应用 ，不仅拼性能，还 拼“手速 ”

下面，我们一起看看商汤端侧大模型的实际表现。

首先，是纯端侧大模型推理速度。

目前商汤「日日新 5.0 端侧大模型」语言模型能力的 推理速度达到了业内最快 ，对比人眼20字/秒的阅读速度，可在中端性能手机上达到18.3字/秒的推理速度。

在高端旗舰手机上，推理速度更是达到 78.3字/秒 ！

例如，手机断网模式下生成一个“理由充分、安排详实”的员工休假申请，效果是这样：

现场原速

离线飞行模式下，打工人也能迅速总结工作纪要，生成速度紧跟人眼阅读节奏。

现场原速

此外，多模态图文能力也是端侧模型在行业铺开的关键。

以扩图功能为例，商汤「日日新 5.0 端侧大模型」扩散模型可实现当前 业内最快推理速度 。

在高通旗舰平台上 推理速度小于1.5秒 ， 比手机云端处理快10倍 ，且支持输出1200万像素以上的高清图片，支持等比扩图、自由扩图、旋转扩图多种图像编辑功能。

小比大好？商汤发布业内最快推理速度「日日新 5.0 端侧大模型」，性能跨级领先

正文

请到「今天看啥」查看全文