专栏名称: 新智元
智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
目录
相关文章推荐
生物学霸  ·  打破校史,「双一流」首篇 Nature ·  2 天前  
BioArt  ·  Nature | ... ·  2 天前  
生信宝典  ·  新课第二期 | ... ·  3 天前  
51好读  ›  专栏  ›  新智元

速度秒杀GPT-4o!Mistral开源首个22B代码模型破记录,支持80+编程语言

新智元  · 公众号  ·  · 2024-05-30 13:08

正文



新智元报道

编辑:乔杨 好困
【新智元导读】 就在刚刚,法国AI初创公司Mistral发布了自家首款代码生成模型Codestral。不仅支持32K长上下文窗口以及80多种编程语言,而且还用22B的参数量取得了与70B的Llama 3相近的性能。目前,已经开放API与IDE插件供用户使用。

真正Open的AI公司Mistral又低调上新了。
这次,他们发布了首款代码生成模型Codestral,支持80多种编程语言以及32K长上下文窗口。
不仅在基准测试上取得了惊艳的表现,而且代码生成的速度也让试用的网友非常满意。
目前,Codestral提供了多种API,而且模型权重也公开在HuggingFace上。

项目地址:https://huggingface.co/mistralai/Codestral-22B-v0.1/tree/main

代码生成新SOTA

Codestral的训练数据包含80多种编程语言,包括最流行的Python、Java、C、C++和Bash,以及HTML、JavaScript等前端语言,在Swift和Fortran上也有良好表现。
模型可以完成的任务包括编写特定功能的函数、编写测试,以及代码填充。
此外,由于Codestral同时精通英语,也可以与开发人员进行交互,有助于提高工程师的编码水平并减少错误和漏洞。
可以通过Le Chat对话界面免费使用模型的交互功能。

在线地址:https://chat.mistral.ai/chat
作为一个参数量只有22B的模型,Codestral实现了32K的长上下文窗口,是Llama 3 70B的四倍。
Codestral使用了Llama架构,但在7种语言的HumanEval均分超过了CodeLlama,可以和Llama 3打个平手。
RepoBench是一个用于评估存储库级代码补全任务的新基准,考验模型的跨文件检索和理解长上下文能力。在RepoBench上,Codestral使用Python语言达到了SOTA成绩。
此外,在其他语言的评估中,包括C++、bash、Java、PHP、Typescript和C#,Codestral也取得了不错的成绩。
FIM基准可以评估模型在中间填充任务上的性能,但CodeLlama和Llama不直接支持这个功能。
在FIM任务中,Codestral用更少的参数量,在Pyhon、JavaScript和Java三种语言上的分数全面超过DeepSeek Coder 33B。
目前,Mistral开放了两个API供开发者调用Codestral,分别是codestral.mistral.ai和api.mistral.ai,前者有8周的免费测试期,后者按token收费。
此外,还可以通过Continue.dev或者Tabnine插件在VSCode或JetBrains的IDE中使用Codestral的功能。

开发者们已经用上了

基准测试毕竟只是参考,代码工具好不好用,只有试过才知道。
有网友感叹「80种语言太疯狂了」「终于有人想起来Swift了」。
而且实测中可以看到,Codestral的代码生成速度非常快,而且响应延迟也很短。
有人给了GPT-4o和Codestral相同的任务,让它们用Go语言实现基本的发布/订阅系统。

虽然两个模型的响应延迟都很短,但Codestral写完的时候,GPT-4o刚写到一半,生成速度高下立现。







请到「今天看啥」查看全文