法国AI初创公司Mistral推出轻量级模型Ministral 3B和Ministral 8B，性能赶超Llama 3 8B及其他模型。这两款模型专为边缘设备打造，拥有高计算效率和低延迟的特性。它们支持高达128k上下文，并在知识、常识、推理、函数调用等方面表现出色。Ministral 8B还配备了滑动窗口注意机制。尽管在代码能力方面与某些模型存在差距，但在其他评测中占据首位。Mistral的收费模式引发争议，但其持续打造优秀模型的决心备受认可。
这两个模型是专为边缘设备打造的，性能已经超越了Llama 3 8B及其他模型。它们支持高达128k的上下文，并在知识、常识、推理、函数调用等方面表现出色。
尽管年初有消息爆料微软将收购Mistral部分股份并对其进行投资，但Mistral的收费模式引发了一些争议。有网友吐槽其不再坚持开源的承诺。
尽管面临争议，但Mistral的模型性能仍然受到认可。其持续打造优秀模型的决心也被广大用户所认可。
【新智元导读】
Mistral 7B诞生一周年之际，法国AI初创公司Mistral再次连发两个轻量级模型Ministral 3B和Ministral 8B，性能赶超Llama 3 8B。
Mistral 7B仅仅发布一周年，法国AI初创小模型「les Ministraux」就打败它了。
它堪称是，世界上最好的边缘模型。
Ministral 3B和Ministral 8B这两款轻量级模型，专为边缘设备打造。
截至目前，它们正式加入Mixtral、Pixtral、Codestral、Mathstral行列，成为Mistral一员。
别看仅有30亿参数，在指令跟随基准上，完全超越了Llama 3 8B，以及前辈模型Mistral 7B。
而且Ministral 3B和Ministral 8B在大模型竞技场中的测试，均拿下了媲美Gemma 2、Llama 3.1开源模型的成绩。
Ministral 3B和Ministral 8B都支持高达128k上下文（目前在vLLM上为32k）。
在知识、常识、推理、函数调用、效率等方面，为低于10B参数模型设立了新标杆。
而且，Ministral 8B还有配备了滑动窗口注意机制（sliding-window attention），以实现更快和内存高效的推理。
不论是管理复杂的AI智能体工作流，还是创建专门的任务助手，它们均可以被微调到各种用例中。
研究人员在多项基准测试中，评估了Les Minimrau的性能。
其中包括知识与常识、代码、数学、多语言四大方面。
预训练模型
如下图所示，与Gema 2 2B、Llama 3.2 3B相比较，Minstral 3B在以上基准上，取得了最优成绩。
在与Llama 3.1 8B、Mistral 7B相比较过程中，仅有代码能力，Minstral 8B还有些差距，其余放方面均是性能最高的模型。
如下是，更加直观可视化柱状图，Minstral 8B在各项评测中，占据首位。
指令模型
再来看微调后的指令模型，性能比较的结果。
在大模型竞技场中，Minstral 3B在不同基准上，实现了最优。Minstral 8B仅在Wild bench上，略逊于Gema 2 9B。
另外，在代码、数学、函数调用方面，两款新模型性能大幅超越其余模型。
下图，可以直观看出指令微调后的Minstral 3B比更大的Mistral 7B的改进。
如下是指令微调后的Minstral 8B模型，与其他模型的性能对比直观图。
如今，大模型在实际落地中，不如小模型来的更切实际。
越来越多的用户，希望对关键应用程序能够进行本地优先推理，比如设备上翻译、不用联网智能助理，自动机器人等等。
正如官博所述，Les Minimraux正为这些场景，提供了高计算效率、低延迟的解决方案。
当与Mistral Large等更大的模型结合使用时，les Ministraux还可以作为多步智能体工作流中，进行函数调用的高效中介。
通过微调，它们能以极低的延迟和成本基于用户意图，跨多个上下文处理输入解析、任务路由和调用API。
价格
根据官方公布的价格所示，Minstral 8B输入输出价格为百万token，0.1美元。Minstral 3B则为百万token0.04美元。
自去年成立以来，Mistral曾以磁力链方式开源了多款媲美OpenAI的模型，一路走红得到AI社区的认可。
这家总部位于巴黎的Mistral，由Meta、谷歌DeepMind前员工创立。
