Mistral 发布地球最强多模态文档理解模型 Mistral OCR，数学公式完美搞定

现在科研过程里非结构化数据超多，像 PDF、图像这些里面的内容处理起来超麻烦。但 Mistral OCR 一出手就知有没有，它能从这些非结构化文档里，精准提取出手写笔记、文本、图像、表格、方程式这些内容，还能把它们变成结构化数据，方便搜索和分析，简直是科研数据管理的 “救星”！

Mistral OCR 是一款专供 OCR 的 API，它为复杂文档理解设定了新的标准。与其他模型不同， R 能够以前所未有的准确性和认知能力理解文档中的每个元素——媒体、文本、表格和公式。它接受图像和 PDF 作为输入，并提取有序的交错文本和图像内容。

因此，Mistral OCR 是与检索增强生成（RAG）系统结合使用的理想模型，能够处理多模态文档（如幻灯片或复杂的 PDF 文件）。

Mistral OCR 在理解复杂文档元素方面表现出色，包括交错的图像、数学表达式、表格以及高级布局（如 LaTeX 格式）。该模型能够深入理解丰富的文档，例如包含图表、图形、公式和插图的科学论文。

下面展示了 PDF 文件及其相应 OCR 输出的并排对比。将鼠标悬停在滑块上以切换输入和输出。

顶尖的基准测试成绩在基准测试中，Mistral OCR 展现出压倒性优势。

Mistral OCR 能从文档中提取嵌入的图像和文本，而其他模型不具备这一能力。为了公平比较，团队在内部的纯文本测试集上进行评估。

与一众领先的 OCR 模型相比，Mistral OCR 的综合得分一骑绝尘，达到了 94.89。

在数学、多语言、扫描文档、表格等各个细分领域的测试中，均有出色表现。

其中，数学领域的得分高达 94.29，远超其他对手。

汇总主要特点：

• 语言与模态支持 原生具备多语言和多模态特性，可支持数千种文字、字体以及相应语言。

• 文档元素理解能力 能够准确理解复杂的文档元素，涵盖图像、数学公式、表格以及 LaTeX 格式等，尤其在处理包含图表、图形、公式和插图的科学论文等富文档方面表现出色。

• 性能优势 在多个文档分析方面的基准测试中表现优于其他 OCR 模型，特别是在扫描文档、表格以及数学公式识别上优势明显。

• 处理速度 处理速度较快，单节点每分钟能够处理 2000 页。

• 输出格式 支持使用文档作为提示，并能以结构化格式（如 JSON）输出。

• 可选择性进行自托管

Mistral 开启了 OCR 新时代，成为了推动各行业数字化转型的重要力量。

科学研究数字化：顶尖研究机构已在尝试用 Mistral OCR 将科学论文和期刊转换为适合 AI 处理的格式，便于下游智能引擎访问。这一举措极大地加快了科研合作的速度，推动了工作流程的优化。

为文献提供 AI 支持：在设计、教育、法律等众多领域，存在着大量的技术文献、工程图纸、讲义、演示文稿、监管文件。Mistral OCR 将其转换为可索引、随时提供答案的格式，释放文档中的知识，提升生产力。

参考资料：

https://mistral.ai/news/mistral-ocr