Mistral AI今日发布了堪称「世界上最好」的OCR模型,登顶Hacker News热榜。
它以图像和PDF作为输入,能以前所未有的认知能力,准确理解文档中的每个元素(图像、文本、表格和公式)。
它是与RAG系统结合使用的理想模型,适用于幻灯片或复杂PDF等文档的处理。
Le Chat已将其设为默认的文档理解模型,同时发布的API「mistral-ocr-latest」1美元可处理1000页(批量推理时每页成本约减半)。
API现已在开发者套件la Plateforme上提供,很快将在云服务、推理合作伙伴以及本地环境中部署。
网友表示,谷歌和Azure OCR迎来了严峻的挑战。
然而,也有网友不买账,对官方测试结果提出了质疑。
实测发现,模型在处理财务和法律文件时,仍存在精度问题。
前沿的复杂文档理解能力
以往的OCR技术对于穿插的图像、数学表达式、表格以及高级布局(如LaTeX)的识别和理解能力有限。
Mistral OCR在这些方面实现了重大突破,能深入剖析文档的每一个细节,尤其是包含图表和公式的科学论文。
下面是从给定PDF中提取文本和图像到markdown文档的示例。
顶尖的基准测试成绩
在基准测试中,Mistral OCR展现出压倒性优势。
Mistral OCR能从文档中提取嵌入的图像和文本,而其他模型不具备这一能力。为了公平比较,团队在内部的纯文本测试集上进行评估。
与一众领先的OCR模型相比,Mistral OCR的综合得分一骑绝尘,达到了94.89。
在数学、多语言、扫描文档、表格等各个细分领域的测试中,均有出色表现。
其中,数学领域的得分高达94.29,远超其他对手。
扫描文档得分达到了98.96,对于一些模糊、老旧的文档扫描件,它也能清晰地识别。
原生多语言支持
Mistral OCR自诞生起就肩负着服务全球的使命,它能理解和解析全球各大洲的数千种文字和语言。
常见的语言和小语种,Mistral OCR都能轻松应对。
「Fuzzy Match in Generation」(生成模糊匹配)指标中,Mistral OCR得分达到了99.02,远超竞争对手。
在处理国际商务合同时,Mistral OCR能准确识别不同语言的条款,为跨国企业提供了极大的便利。
这种多语言适应性对于全球化企业至关重要,同时也适用于专注于特定市场的本土化企业。
在多语言的基准测试上,Mistral OCR的表现全面超越了Azure OCR、Google Doc AI和Gemini-2.0-Flash-001。
同类产品中速度最快
在追求准确性的同时,Mistral OCR还在处理速度上实现了质的飞跃。
它比大多数同类模型更轻量化,在单个节点上每分钟可处理多达2000页文档,这一速度远超传统OCR模型。
这种快速处理文档的能力,确保了即使在高吞吐量环境中,也能持续学习和优化。
文档即提示,结构化输出
Mistral OCR创新性地引入了「文档即提示」功能,支持更强大、精确的指令。
用户可以根据自身需求,利用该功能从文档中提取特定信息,并将其格式化为结构化输出,如JSON格式。
这种结构化输出方式便于链接下游函数调用,从而构建智能体。
例如,在处理企业的财务报表时,用户可通过Mistral OCR快速提取关键的财务数据,并将其输出为结构化的JSON文件。
自行托管,保障数据安全
对于有严格数据隐私要求的组织,Mistral OCR提供了自行托管选项。