速递｜Mistral 发布首个代码生成 AI 模型 Codestral！

有新Newin · 公众号 · · 2024-06-01 13:04

正文

5 月 29 日，Mistral 发布了首个用于代码的生成式 AI 模型——Codestral，并表示将致力于将 Codestral 集成到 LlamaIndex、LangChain、Continue.dev 和 Tabnine 等应用框架和开发环境中。

▍精通 80 多种编程语言的模型

Codestral 经过了 80 多种编程语言的多样化数据集训练，包括最流行的语言，例如 Python、Java、C、C++、JavaScript 和 Bash。它在 Swift 和 Fortran 等更具体的语言上也表现良好，广泛的语言基础确保 Codestral 能够在各种编码环境和项目中为开发人员提供帮助。

Codestral 为开发人员节省了时间和精力，它可以完成编码功能、编写测试并使用中间填充机制完成任何部分代码。与 Codestral 交互将有助于提高开发人员的编码水平并降低出现错误和错误的风险。

尽管 Mistral 宣称该模型是开源的，但其许可证禁止将 Codestral 及其输出用于任何商业活动，仅适合于研究和测试等用途，并明确禁止员工在公司业务活动中进行任何内部使用，这一限制可能是由于该模型的部分训练数据涉及受版权保护的内容。有证据表明，Mistral 之前的训练集包含了受版权保护的数据。

▍生成代码的标准

Codestral 拥有 220 亿个参数，需要一台强大的 PC 才能运行。此外，与之前用于编码的模型相比，Codestral 在代码生成的性能/延迟空间方面设立了新标准。

Python：使用四个基准测试：HumanEval pass@1、MBPP sanitised pass@1 来评估 Codestral 的 Python 代码生成能力、CruxEval 来评估 Python 输出预测，以及 RepoBench EM 来评估 Codestral 的远程存储库级代码完成；
QL：为了评估 Codestral 在 SQL 方面的表现，使用了 Spider 基准；